Решение:
Рассмотрим исходную систему уравнений:
$\left\{\begin{matrix} ax^{2} + ay^{2} + 2 ax + \left(a + 2\right) y + 1 = 0 \\ xy + 1 = x + y \end{matrix}\right.$
Преобразуем второе уравнение системы, перенеся все слагаемые в левую часть:
$\left\{\begin{matrix} ax^{2} + ay^{2} + 2 ax + \left(a + 2\right) y + 1 = 0 \\ x + y - xy - 1 = 0 \end{matrix}\right.$
Разложим выражение $x + y - xy - 1 = 0$ на множители методом группировки:
$x - 1 - (xy - y) = 0 \Rightarrow (x - 1) - y(x - 1) = 0 \Rightarrow (x - 1)(1 - y) = 0$.
Таким образом, второе уравнение распадается на две прямые: $x = 1$ или $y = 1$.
Подставим эти условия в первое уравнение системы поочередно:
$\left[\begin{matrix} \left\{\begin{matrix} x = 1 \\ a(1)^2 + ay^2 + 2a(1) + (a + 2)y + 1 = 0 \end{matrix}\right. & (1) \\ \left\{\begin{matrix} y = 1 \\ ax^2 + a(1)^2 + 2ax + (a + 2)(1) + 1 = 0 \end{matrix}\right. & (2) \end{matrix}\right.$
Упростим полученные уравнения:
$\left[\begin{matrix} \left\{\begin{matrix} x = 1 \\ ay^2 + (a + 2)y + 3a + 1 = 0 \end{matrix}\right. \\ \left\{\begin{matrix} y = 1 \\ ax^2 + 2ax + 2a + 3 = 0 \end{matrix}\right. \end{matrix}\right.$
Для того чтобы система имела ровно четыре различных решения, необходимо, чтобы каждое из этих квадратных уравнений имело по два различных корня. Это возможно только если их дискриминанты строго положительны, а коэффициент $a \neq 0$ (иначе уравнения станут линейными).
Исследуем уравнение (1):
$ay^2 + (a + 2)y + 3a + 1 = 0$
Находим дискриминант: $D_1 = (a + 2)^2 - 4 \cdot a \cdot (3a + 1) = a^2 + 4a + 4 - 12a^2 - 4a = 4 - 11a^2$.
Условие $D_1 > 0$:
$4 - 11a^2 > 0 \Rightarrow a^2 < \frac{4}{11} \Rightarrow a \in \left(-\frac{2\sqrt{11}}{11}; \frac{2\sqrt{11}}{11}\right)$.
Исследуем уравнение (2):
$ax^2 + 2ax + 2a + 3 = 0$
Находим дискриминант: $D_2 = (2a)^2 - 4 \cdot a \cdot (2a + 3) = 4a^2 - 8a^2 - 12a = -4a^2 - 12a$.
Условие $D_2 > 0$:
$-4a^2 - 12a > 0 \Rightarrow a^2 + 3a < 0 \Rightarrow a(a + 3) < 0$.

Решением неравенства является интервал $a \in (-3; 0)$.
Важно отметить, что при $a = 0$ уравнения перестают быть квадратными, поэтому данное значение исключается.

Для обеспечения четырех различных решений нужно исключить случай, когда решения систем (1) и (2) совпадают. Это происходит, если обе системы проходят через общую точку $(1; 1)$. Подставим координаты этой точки в исходное уравнение:
$a(1)^2 + a(1)^2 + 2a(1) + (a + 2)(1) + 1 = 0 \Rightarrow 5a + 3 = 0 \Rightarrow a = -\frac{3}{5}$.
При $a = -\frac{3}{5}$ точка $(1; 1)$ является общим корнем, и количество решений уменьшается.

Объединяя условия $a \in \left(-\frac{2\sqrt{11}}{11}; \frac{2\sqrt{11}}{11}\right)$, $a \in (-3; 0)$ и исключая $a = -\frac{3}{5}$, получаем итоговый результат.

Ответ: $\left(- \frac{2 \sqrt{11}}{11} ; - \frac{3}{5}\right) \cup \left(- \frac{3}{5} ; 0\right)$

Источник: ФИПИ