Нужно возвести данное выражение в квадрат
(2x^2-8x+2y^2+4y+17)^2

Возвёл . Если нужно дальше что-то сделать скажи 

=16x^4-64x^2+4y^2+16y^4+289= 16x^4-8x^4+20y^4+289= 8x^4+20y^4+289... Вроде бы так...