Упрастите выражение:(4а^3+5)^2+(4a^3-1)^2-2(4a^3+5)(4a^3-1)

Поменяли местами второй и третий члены.
Увидели формулу квадрата разности: 
a² - 2 · a · b + b² ,
где а - это первая скобка, b это вторая скобка.
a² - 2 · a · b + b² = (a - b)²

(4а³+5)² + (4a³-1)² -2(4a³+5)(4a³-1) = 
= (4а³+5)² -2(4a³+5)(4a³-1) + (4a³-1)² = 
= ((4а³+5) - (4а³-1))² = 
= (4а³ + 5 - 4а³ + 1)² = 6² = 36