Помогите, пожалуйста, с подробным решением. "Даны три вектора. Найти их смешанное произведение (a∗(b×c)).   a(5;10;−1),   b(3;−8;6),    c(−7;2;−5)."

Тут надо действовать в лоб, без всяких обходных манёвров.
Смешанное произведение векторов равно определителю матрицы, составленной из этих векторов.
[tex]\vec{a}\cdot[\vec{b}\times\vec{c}] = \left[\begin{array}{ccc}x_a&y_a&z_a\\x_b&y_b&z_b\\x_c&y_c&z_c\end{array}\right] = \\= x_a(y_b z_c-y_cz_b) + y_a(z_b x_c-z_c x_b) + z_a(x_b y_c-x_c y_b)[/tex]
Δ = 5·(-8)·(-5) + 10·6·(-7) + (-1)·3·2 - (-1)·(-8)·(-7) - 5·6·2 - 10·3·(-5) = 200 - 420 - 6 + 56 - 60 + 150 = -80