Решение:
Для начала определим координаты векторов, вычислив разность координат их концов и начал:
$\vec{a} = (5 - 1; 8 - 2) = (4; 6)$
$\vec{b} = (11 - 5; 3 - 5) = (6; -2)$.
Теперь вычислим скалярное произведение векторов $\vec{a}$ и $\vec{b}$ по формуле суммы произведений соответствующих координат:
$\vec{a} \cdot \vec{b} = x_a \cdot x_b + y_a \cdot y_b = 4 \cdot 6 + 6 \cdot (-2) = 24 - 12 = 12$.

Ответ: 12

Источник: ФИПИ