Расстояние между точками A и B равно 2. Найдите множество всех точек M , для которых AM^2+BM^2=20

Можно решить и не векторным методом, а системой уравнений.
Если точку А поместить в начало координат, а точку В на оси ОХ, то для отрезков АМ и ВМ получим систему:
[tex] \left \{ {{AM^2=x^2+y^2} \atop {BM^2=(a-x)^2+y^2}} \right. [/tex]
Суммируем и приравниваем к².
Получаем 2х²-2ах+2у² = к²-а².
Выделяем полные квадраты и получаем уравнение окружности:
[tex](x- \frac{a}{2} )^2+y^2= \frac{2k^2-a^2}{4} .[/tex]
Центр окружности в точке ((а/2);0) и радиус равен √((2к²-а²)/4).
Для данной задачи центр окружности в точке (1;0) и радиус равен √((2*20-4)/4) = √(36/4) = 3.