Разбор решения:
Рассмотрим исходную систему уравнений:
$\left\{\begin{matrix} \left(x^{2} - 5 x - y + 3\right) \cdot \sqrt{x - y + 3} = 0 \\ y = 3 x + a \end{matrix}\right.$
Первое уравнение распадается на совокупность при условии существования квадратного корня. Получаем эквивалентную систему:
$\left\{\begin{matrix} \left[\begin{matrix} y = x^{2} - 5 x + 3 \\ y = x + 3 \end{matrix}\right. \\ y = 3 x + a \\ y \leq x + 3 \end{matrix}\right.$
Здесь условие $y \leq x + 3$ задает область определения (под коренное выражение $x - y + 3 \geq 0$).

Для нахождения значений параметра $a$, при которых система имеет решения, проанализируем взаимное расположение графиков. Искомые значения будут находиться в объединении точки касания и промежутка между характерными положениями прямой:
$a \in \left\{\text{случай } 1\right\} \cup [ \text{случай } 2 ; \text{случай } 3 )$
Определим параметры параболы $y = x^2 - 5x + 3$:
Абсцисса вершины: $x_{0} = \frac{5}{2} = 2{,}5$.
Ордината вершины: $y_{0}(2{,}5) = 6{,}25 - 12{,}5 + 3 = -3{,}25$.
Корни уравнения $x^{2} - 5 x + 3 = 0$: $D = 25 - 12 = 13$, откуда $x = \frac{5 \pm \sqrt{13}}{2}$.
Построим прямую $y = x + 3$ по точкам:

x	1	0
y	4	3

Вычислим координаты точек, где прямая $y = x + 3$ пересекается с параболой:
$x^{2} - 5 x + 3 = x + 3 \Rightarrow x^{2} - 6 x = 0$.
Получаем две точки: $x = 0$ и $x = 6$.
Теперь определим значения $a$ для различных условий касания и пересечения:
1) Случай касания прямой $y = 3x + a$ и параболы:
$x^{2} - 5 x + 3 = 3 x + a \Rightarrow x^{2} - 8 x + 3 - a = 0$.
Условие единственности решения (касания) — равенство дискриминанта нулю:
$D = 64 - 4(3 - a) = 52 + 4a = 0 \Rightarrow a = -13$.
2) Прохождение прямой через точку пересечения параболы и границы области ($x = 6$, $y = 9$):
$9 = 3 \cdot 6 + a \Rightarrow a = -9$.
3) Прохождение прямой через вторую точку пересечения ($x = 0$, $y = 3$):
$3 = 3 \cdot 0 + a \Rightarrow a = 3$.

Ответ: $\{-13\} \cup [-9; 3)$

Источник: ФИПИ