Решение:
Рассмотрим исходную систему уравнений:
$\left\{\begin{matrix} \log _{11} \left(a - y^{2}\right) = \log _{11} \left(a - x^{2}\right) \\ x^{2} + y^{2} = 2 x + 6 y \end{matrix}\right.$
Для существования логарифмов необходимо выполнение условий:
$\left\{\begin{matrix} a - x^{2} > 0 \\ a - y^{2} > 0 \end{matrix}\right.$
Поскольку из первого уравнения следует, что $a - y^{2} = a - x^{2}$, область допустимых значений определяется неравенством $x^{2} < a$, что равносильно $|x| < \sqrt{a}$ или $x \in (-\sqrt{a}; \sqrt{a})$.

Преобразуем первое уравнение системы:
$a - x^{2} = a - y^{2}$
$x^{2} - y^{2} = 0$
$(x - y)(x + y) = 0$
Откуда получаем две прямые: $y = x$ и $y = -x$.

Второе уравнение системы представляет собой окружность. Выделим полные квадраты:
$x^{2} - 2x + y^{2} - 6y = 0$
$(x^{2} - 2x + 1) + (y^{2} - 6y + 9) = 10$
$(x - 1)^{2} + (y - 3)^{2} = 10$
Это уравнение окружности с центром в точке $(1; 3)$ и радиусом $R = \sqrt{10}$.

Найдем точки пересечения прямых с окружностью:
1) Если $y = x$:
$(x - 1)^{2} + (x - 3)^{2} = 10$
$x^{2} - 2x + 1 + x^{2} - 6x + 9 = 10$
$2x^{2} - 8x = 0$
$2x(x - 4) = 0$
Получаем абсциссы $x = 0$ и $x = 4$.

2) Если $y = -x$:
$(x - 1)^{2} + (-x - 3)^{2} = 10$
$x^{2} - 2x + 1 + x^{2} + 6x + 9 = 10$
$2x^{2} + 4x = 0$
$2x(x + 2) = 0$
Получаем абсциссы $x = 0$ и $x = -2$.

Заметим, что точка $(0; 0)$ является общей для обеих прямых и удовлетворяет уравнению окружности: $(0-1)^2 + (0-3)^2 = 1 + 9 = 10$.
Чтобы система имела решения, необходимо, чтобы найденные значения $x$ попадали в интервал $(-\sqrt{a}; \sqrt{a})$. Анализируя граничные значения абсцисс точек пересечения, получаем условие для параметра:
$\sqrt{a} \in (2; 4] \Rightarrow a \in (4; 16]$.

Ответ: $(4; 16]$

Источник: ФИПИ