Решение:

а) Согласно условию $AM = MC$, следовательно, треугольник $AMC$ является равнобедренным. Отсюда получаем равенство углов при основании: $\angle MAC = \angle MCA$.
Учитывая параллельность оснований трапеции $BC \parallel AD$, углы $\angle MCA$ и $\angle CAD$ равны как накрест лежащие. Таким образом, $\angle MAC = \angle CAD$, что означает, что луч $AC$ служит биссектрисой угла $MAD$.
Так как центр окружности, вписанной в треугольник, всегда находится в точке пересечения его биссектрис, то центр вписанной окружности треугольника $AMD$ действительно лежит на отрезке $AC$. Что и требовалось доказать.

б) Обозначим длину $AM = MC$ через $a$. Тогда отрезок $BM$ будет равен $10 - a$. Применим теорему косинусов для треугольника $ABM$, учитывая, что $\angle ABM = 120^\circ$ (так как сумма углов, прилежащих к боковой стороне трапеции, равна $180^\circ$):
$$AM^{2} = AB^{2} + BM^{2} - 2 \cdot AB \cdot BM \cdot \cos \angle ABM$$ $$a^{2} = 5^2 + (10 - a)^{2} - 2 \cdot 5 \cdot (10 - a) \cdot \cos 120^\circ$$ Подставив $\cos 120^\circ = -0,5$, получим уравнение: $a^2 = 25 + 100 - 20a + a^2 + 5(10 - a)$, откуда $a = 7$.
Теперь рассмотрим треугольник $MCD$. По теореме косинусов найдем сторону $MD$, зная, что $\angle MCD = 60^\circ$:
$$MD^{2} = MC^{2} + CD^{2} - 2 \cdot MC \cdot CD \cdot \cos 60^\circ = 7^2 + 5^2 - 2 \cdot 7 \cdot 5 \cdot \frac{1}{2} = 49 + 25 - 35 = 39$$ Следовательно, $MD = \sqrt{39}$.
Вычислим высоту $h$ треугольника $AMD$, которая совпадает с высотой всей трапеции:
$h = AB \cdot \sin 60^\circ = 5 \cdot \frac{\sqrt{3}}{2} = \frac{5\sqrt{3}}{2}$.
Площадь треугольника $AMD$ можно найти через основание $AD$ и высоту $h$:
$$S_{AMD} = \frac{1}{2} \cdot AD \cdot h = \frac{1}{2} \cdot 10 \cdot \frac{5\sqrt{3}}{2} = \frac{25\sqrt{3}}{2}$$ С другой стороны, площадь треугольника выражается через его полупериметр и радиус вписанной окружности $r$:
$$S_{AMD} = \frac{AM + MD + AD}{2} \cdot r$$ Отсюда выражаем искомый радиус:
$$r = \frac{2 \cdot S_{AMD}}{AM + AD + MD} = \frac{2 \cdot \frac{25\sqrt{3}}{2}}{7 + 10 + \sqrt{39}} = \frac{25\sqrt{3}}{17 + \sqrt{39}}$$

Ответ: $\frac{25 \sqrt{3}}{17 + \sqrt{39}}$

Источник: ФИПИ