とっかかりだけ大雑把に書きます。解答にするならもっと丁寧に書く必要あり。
例題のように、まずは与式の両辺の次数を比較します。
(i)f(x)=1のとき、与式は0次=3次となり不適
(ii)f(x)が一次式のとき、与式はa≠1の時2次=3次となり不適
a=1の時f(x)=x+cとおき、与式の両辺を比較するとおかしい事になるので不適
(iii)f(x)がn次式(nは2以上)のとき、与式は2n次=n+2次となるので、n=2
よってf(x)=x^2 + cx + dと置ける。
あとは与式に代入して係数比較。