Разбор задачи:
Рассмотрим исходную систему уравнений:
$\left\{\begin{matrix} (xy - 2x + 12) \cdot \sqrt{y - 2x + 12} = 0 \\ y = ax - 10 \end{matrix}\right.$
Первое уравнение определено при условии неотрицательности выражения под корнем. Произведение равно нулю, если хотя бы один из множителей равен нулю. Таким образом, система равносильна следующей совокупности условий:
$\left\{\begin{matrix} \left[\begin{matrix} xy - 2x + 12 = 0 \\ y - 2x + 12 = 0 \end{matrix}\right. \\ y \geq 2x - 12 \\ y = ax - 10 \end{matrix}\right.$
Преобразуем уравнения линий, входящих в совокупность:
$\left\{\begin{matrix} \left[\begin{matrix} y = 2 - \frac{12}{x} \quad (1) \\ y = 2x - 12 \quad (2) \end{matrix}\right. \\ y \geq 2x - 12 \\ y = ax - 10 \end{matrix}\right.$
Здесь второе уравнение системы задает пучок прямых, проходящих через фиксированную точку $(0; -10)$ на оси ординат, где $a$ — угловой коэффициент.

Построим графики функций, ограничивающих область допустимых значений. Для гиперболы $(1) y = 2 - \frac{12}{x}$ составим таблицу значений:

x	1	-1	2	-2	6	-6
y	-10	14	-4	8	0	4

Для прямой $(2) y = 2x - 12$ возьмем контрольные точки:

x	2	6
y	-8	0

Проанализируем возможные значения параметра $a$:
1) Случай касания прямой $y = ax - 10$ и гиперболы $y = \frac{2x - 12}{x}$:
$ax - 10 = 2 - \frac{12}{x}$
Умножим на $x \neq 0$: $ax^2 - 10x = 2x - 12 \Rightarrow ax^2 - 12x + 12 = 0$.
Условие касания — равенство дискриминанта нулю:
$D = (-12)^2 - 4 \cdot a \cdot 12 = 144 - 48a$.
$144 - 48a = 0 \Rightarrow a = 3$.
2) Случай, когда прямая параллельна оси абсцисс (горизонтальная прямая):
Это соответствует значению $a = 0$.
3) Прохождение прямой через точку пересечения графиков $(6; 0)$:
Подставим координаты в уравнение пучка: $0 = 6a - 10$.
Отсюда $6a = 10$, то есть $a = \frac{5}{3}$.
4) Случай параллельности прямой $y = ax - 10$ и граничной прямой $y = 2x - 12$:
Коэффициенты наклона должны совпадать, следовательно, $a = 2$.

Ответ: $(-\infty; 0) \cup (0; \frac{5}{3}) \cup \{2\} \cup \{3\}$

Источник: ФИПИ