Решение:
а) Рассмотрим исходное уравнение: $\cos ^{2} x + \sin ^{2} \left(x - \frac{\pi}{4}\right) = \frac{1}{2}$.
Для начала преобразуем выражение в скобках, применив формулу синуса разности $\sin \left(\alpha - \beta\right) = \sin \alpha \cos \beta - \cos \alpha \sin \beta$:
$$\sin \left(x - \frac{\pi}{4}\right) = \sin x \cdot \cos \frac{\pi}{4} - \cos x \cdot \sin \frac{\pi}{4} = \frac{\sqrt{2}}{2} \sin x - \frac{\sqrt{2}}{2} \cos x = \frac{\sqrt{2}}{2} (\sin x - \cos x)$$ Подставим полученный результат обратно в уравнение:
$$\cos ^{2} x + \left(\frac{\sqrt{2}}{2} (\sin x - \cos x)\right)^{2} = \frac{1}{2}$$ Раскроем квадрат и упростим выражение:
$$\cos ^{2} x + \frac{1}{2} (\sin ^{2} x - 2 \sin x \cos x + \cos ^{2} x) = \frac{1}{2}$$ Умножим обе части уравнения на 2, чтобы избавиться от дробей:
$$2 \cos ^{2} x + \sin ^{2} x - 2 \sin x \cos x + \cos ^{2} x = 1$$ Сгруппируем слагаемые и заменим единицу в правой части на основное тригонометрическое тождество $\sin^2 x + \cos^2 x$:
$$3 \cos ^{2} x + \sin ^{2} x - 2 \sin x \cos x = \sin^2 x + \cos^2 x$$ Перенесем всё в левую часть и приведем подобные слагаемые:
$$2 \cos ^{2} x - 2 \sin x \cos x = 0$$ Разложим на множители, вынеся $2 \cos x$ за скобки:
$$2 \cos x (\cos x - \sin x) = 0$$ Отсюда получаем два случая:
1) $\cos x = 0$, что дает серию решений $x = \frac{\pi}{2} + \pi k, k \in \mathbb{Z}$.
2) $\cos x - \sin x = 0$. Разделив на $\cos x \neq 0$, приходим к уравнению $\operatorname{tg} x = 1$, откуда $x = \frac{\pi}{4} + \pi n, n \in \mathbb{Z}$.
б) Выполним отбор корней на заданном промежутке $[5\pi; 6\pi]$ с помощью единичной окружности.

На указанном отрезке лежат следующие значения:
$x_{1} = 5\pi + \frac{\pi}{4} = \frac{21\pi}{4}$,
$x_{2} = 5\pi + \frac{\pi}{2} = \frac{11\pi}{2}$.

Ответ: а) $\frac{\pi}{2} + \pi k, \frac{\pi}{4} + \pi k, k \in \mathbb{Z}$; б) $\frac{21\pi}{4}, \frac{11\pi}{2}$.

Источник: ФИПИ