Решение:
Рассмотрим исходную систему уравнений:
$\left\{\begin{matrix} x^{2} + y^{2} - 4(a + 1)x - 2ay + 5a^{2} + 8a + 3 = 0 \\ y^{2} = x^{2} \end{matrix}\right.$
Преобразуем первое уравнение, выделив полные квадраты для переменных $x$ и $y$:
$(x^{2} - 2 \cdot 2(a + 1)x + (2a + 2)^{2}) + (y^{2} - 2ay + a^{2}) - (2a + 2)^{2} - a^{2} + 5a^{2} + 8a + 3 = 0$
После упрощения свободного члена получаем уравнение окружности:
$(x - (2a + 2))^{2} + (y - a)^{2} = 1$
Второе уравнение системы $y^2 = x^2$ распадается на две прямые: $y = x$ и $y = -x$. Для того чтобы система имела ровно четыре различных решения, необходимо, чтобы каждая из этих прямых пересекала окружность в двух точках, и эти точки не совпадали.
Сформулируем условия пересечения:
$\left\{\begin{matrix} (1) \text{ прямая } y = x \text{ имеет с окружностью 2 общие точки} \\ (2) \text{ прямая } y = -x \text{ имеет с окружностью 2 общие точки} \end{matrix}\right.$
Разберем случай (1). Подставим $y = x$ в уравнение окружности:
$x^{2} + x^{2} - 4(a + 1)x - 2ax + 5a^{2} + 8a + 3 = 0$
$2x^{2} - (6a + 4)x + 5a^{2} + 8a + 3 = 0$
Для наличия двух точек пересечения дискриминант должен быть строго больше нуля:
$D = (6a + 4)^{2} - 4 \cdot 2 \cdot (5a^{2} + 8a + 3) = 36a^{2} + 48a + 16 - 40a^{2} - 64a - 24 > 0$
$-4a^{2} - 16a - 8 > 0 \Rightarrow a^{2} + 4a + 2 < 0$
Корни соответствующего квадратного уравнения: $a = \frac{-4 \pm \sqrt{8}}{2} = -2 \pm \sqrt{2}$.
Следовательно, $a \in (-2 - \sqrt{2}; -2 + \sqrt{2})$.

Разберем случай (2). Подставим $y = -x$ в уравнение окружности:
$x^{2} + (-x)^{2} - 4(a + 1)x - 2a(-x) + 5a^{2} + 8a + 3 = 0$
$2x^{2} - (2a + 4)x + 5a^{2} + 8a + 3 = 0$
Условие двух точек пересечения ($D > 0$):
$D = (2a + 4)^{2} - 8(5a^{2} + 8a + 3) = 4a^{2} + 16a + 16 - 40a^{2} - 64a - 24 > 0$
$-36a^{2} - 48a - 8 > 0 \Rightarrow 9a^{2} + 12a + 2 < 0$
Находим корни: $D = 144 - 72 = 72$, $a = \frac{-12 \pm 6\sqrt{2}}{18} = \frac{-2 \pm \sqrt{2}}{3}$.
Получаем интервал: $a \in \left(\frac{-2 - \sqrt{2}}{3}; \frac{-2 + \sqrt{2}}{3}\right)$.

Для выполнения обоих условий одновременно найдем пересечение полученных интервалов:

Общая часть: $a \in \left(\frac{-2 - \sqrt{2}}{3}; -2 + \sqrt{2}\right)$.

Также нужно исключить случай, когда окружность проходит через точку пересечения прямых $(0;0)$, так как в этом случае количество решений уменьшится. Проверим, при каких $a$ точка $(0;0)$ удовлетворяет уравнению окружности:
$0^2 + 0^2 - 4(a + 1) \cdot 0 - 2a \cdot 0 + 5a^{2} + 8a + 3 = 0$
$5a^{2} + 8a + 3 = 0$
Решим уравнение: $D = 64 - 60 = 4$.
$a_1 = \frac{-8 + 2}{10} = -0,6$; $a_2 = \frac{-8 - 2}{10} = -1$.
Эти значения параметра необходимо исключить из найденного выше интервала.

Ответ: $\left(\frac{-2 - \sqrt{2}}{3}; -1\right) \cup (-1; -0,6) \cup (-0,6; -2 + \sqrt{2})$

Источник: ФИПИ