参考・概略です
x,yについて分母の有理化を行うと
x=√2-1,y=√2+1 で x+y=2√2,xy=1
(1) x²+y²=(x+y)²-2xy
=(2√2)²-2(1)
=8-2
=6
(2)x³+y³=(x+y)³-3xy(x+y)
=(2√2)³-3(1)(2√2)
=16√2-6√2
=10√2
(3)x³y-x²y²+xy³=xy{x²-xy+y²}
=xy{(x+y)²-3xy}
=(1){(2√2)²-3(1)}
={8-3}
=5
補足(そのまま計算した場合)
x²=1/(3+2√2)=3-2√2
y²=1/(3-2√2)=3+2√2
xy=1/1=1
x³=1/(5√2+7)=5√2-7
y³=1/(5√2-7)=5√2+7
x³y=3-2√2
xy³=3+2√2
x²y²=1²=1
(1) (3-2√2)+(3+2√2)=6
(2) (5√2-7)+(5√2+7)=10√2
(3) (3-2√2)-1+(3+2√2)=5