Решение:
Проанализируем первое уравнение системы. Если параметр $a = 1$, то уравнение принимает вид $x + y = 5$, что соответствует одной прямой. В случае, когда $a \neq 1$, левую часть можно разложить на множители, и уравнение распадается на совокупность двух параллельных прямых: $l_1: x + ay = 5$ и $l_2: x + ay = 5a$.
Второе уравнение $x^2 + y^2 = 16$ описывает окружность $\omega$ с центром в начале координат $(0; 0)$ и радиусом $R = 4$.
Так как одна прямая может пересекать окружность максимум в двух точках, для получения ровно четырех различных решений необходимо, чтобы $a \neq 1$ и каждая из прямых $l_1$ и $l_2$ имела с окружностью $\omega$ по две точки пересечения. При этом прямые не должны совпадать.
Рассмотрим условия пересечения окружности с каждой прямой по отдельности.

Для прямой $l_1$ подставим выражение $x = 5 - ay$ во второе уравнение:

$(5 - ay)^2 + y^2 = 16;$
$(a^2 + 1)y^2 - 10ay + 9 = 0.$

Данное квадратное уравнение имеет два различных корня, если его дискриминант строго больше нуля:

$D/4 = (5a)^2 - 9(a^2 + 1) > 0;$
$25a^2 - 9a^2 - 9 > 0;$
$16a^2 - 9 > 0;$
$(4a - 3)(4a + 3) > 0.$

Это условие выполняется при $a \in (-\infty; -3/4) \cup (3/4; +\infty)$.

Теперь исследуем пересечение окружности с прямой $l_2$. Подставим $x = 5a - ay$:

$(5a - ay)^2 + y^2 = 16;$
$(a^2 + 1)y^2 - 10a^2y + 25a^2 - 16 = 0.$

Для наличия двух точек пересечения потребуем положительности дискриминанта:

$D/4 = (5a^2)^2 - (a^2 + 1)(25a^2 - 16) > 0;$
$25a^4 - (25a^4 - 16a^2 + 25a^2 - 16) > 0;$
$16 - 9a^2 > 0;$
$(4 - 3a)(4 + 3a) > 0.$

Следовательно, $a \in (-4/3; 4/3)$.

Чтобы система имела ровно 4 решения, оба условия на дискриминанты должны выполняться одновременно, при этом исключаем случай $a = 1$:

$$\begin{cases} a \in (-\infty; -3/4) \cup (3/4; +\infty) \\ a \in (-4/3; 4/3) \\ a \neq 1 \end{cases}$$

Объединяя полученные интервалы, находим искомые значения параметра: $- \frac{4}{3} < a < - \frac{3}{4}$ или $\frac{3}{4} < a < 1$ или $1 < a < \frac{4}{3}$.

Ответ: $(-4/3; -3/4) \cup (3/4; 1) \cup (1; 4/3)$.

Источник: ФИПИ