как умножить вектора АВ*ОС

Для начала надо найти компоненты векторов. Например:
АВ = (2-1, 3-2) = (1, 1) // (x₁,y₁)
OC = (-3+1, -2-4) = (-2, -6)  // (x₂,y₂)
И так далее.
Произведение, видимо, имеется в виду скалярное.Например:
AB*OC = 1*(-2)+1*(-6) = -8. //(x₁*x₂ + y₁*y₂).
Надеюсь понятно объяснил ))