решите неравенство
x^2-8x+16/x^2-3x-10 > 0

(x²-8x+16) /(x²-3x-10) >0

x²-8x+16=0
D= (-8)² - 4*16 = 64 -64 = 0
D=0 - один корень уравнения
х1= 8/(2*1) =8/2 =4

х² -3х -10=0
D= (-3)² - 4*1*(-10) = 9 + 40 =49 = 7²
D>0  - два корня уравнения
х1= ( 3- 7) /(2*1) = -4/2 =-2
х2= (3+7) /2  = 10/2 = 5

Смотрим знаки на интервалах:
+             -        -      + 
--------*---------*-----*-------
        -2           4     5
-2 > x> 5            х∈ (-∞; -2) ∪ (5; +∞)