Решение:
а) Рассмотрим исходное уравнение: $\cos 2 x - \sqrt{2} \cos \left(\frac{3 \pi}{2} + x\right) - 1 = 0$.
Применим формулу косинуса двойного угла $\cos 2x = 1 - 2\sin^2 x$ и формулу приведения $\cos(\frac{3\pi}{2} + x) = \sin x$:
$1 - 2 \sin ^{2} x - \sqrt{2} \sin x - 1 = 0$.
Упростим выражение и домножим на $-1$:
$2 \sin ^{2} x + \sqrt{2} \sin x = 0$.
Вынесем общий множитель за скобки:
$\sin x \left(2 \sin x + \sqrt{2}\right) = 0$.
Данное уравнение распадается на два случая:
1) $\sin x = 0$, откуда получаем серию корней $x = \pi n , n \in \mathbb{Z}$.
2) $2 \sin x + \sqrt{2} = 0 \Rightarrow \sin x = - \frac{\sqrt{2}}{2}$.
Решениями этого уравнения являются:
$\left[\begin{matrix} x = - \frac{\pi}{4} + 2 \pi n , n \in \mathbb{Z} \\ x = - \frac{3 \pi}{4} + 2 \pi n , n \in \mathbb{Z} . \end{matrix}\right.$

б) С помощью единичной окружности выберем корни, которые попадают в заданный промежуток $[ \frac{3 \pi}{2} ; 3 \pi )$.

Вычислим значение точки в четвертой четверти: $2 \pi - \frac{\pi}{4} = \frac{7 \pi}{4}$.
Также на указанном отрезке лежат целые значения $\pi$: это $2\pi$ и $3\pi$.
Таким образом, искомые корни: $2 \pi , \frac{7 \pi}{4} , 3 \pi$.

Ответ: а) $\pi n, -\frac{\pi}{4} + 2\pi n, -\frac{3\pi}{4} + 2\pi n, n \in \mathbb{Z}$; б) $2 \pi; \frac{7 \pi}{4}; 3 \pi$

Источник: ФИПИ