Линейная алгебра:
Пусть
x = (x1, x2, x3), ϕ1(x) = (x2 − x3, x1, x1 + x3), ϕ2(x) = (x2, 2x3, x1).
Найти формулу, определяющую действие оператора: ((ф2)^2+ф1)(ф2(x)
и матрицу этого оператора

Просто применяем оператор ((φ2)^2+φ1)φ2 = (φ2)^3 + φ1 φ2 к вектору x = (x1, x2, x3):

φ2 x = (x2, 2x3, x1) - это по определению
φ2(φ2 x) = (φ2)^2 x = (2x3, 2x1, x2) - в определение вместо (x1, x2, x3) поставили результат предыдущей операции, т.е. x1 <- x2, x2 <- 2x3, x3 <- x1.
φ2((φ2)^2 x) = (φ2)^3 x = (2x1, 2x2, 2x3)

φ1(φ2 x) = (2x3 - x1, x2, x1 + x2)

((φ2)^3 + φ1 φ2) x = (x1 + 2x3, 3x2, x1 + x2 + 2x3)

Из этой формулы очевиден вид матрицы оператора:
[tex]\begin{pmatrix} 1 & 0 & 2\\ 0 & 3 & 0\\ 1 & 1 & 2 \end{pmatrix}[/tex]

В матрице на ij-м месте стоит коэффициент в i-ой компоненте у xj.