回答

最初の立式はきっちり出来ていますね. あとは整数条件が残っています.
慣れていないと少し難しいところがあるかもしれませんが, じっくり以下の解説を読んで考えてみましょう.
***
Aはxcmの正方形, Bは20-xcmの正方形です[但し0<x<20]. この面積比が1:nなので
x^2:(20-x)^2=1:n⇔nx^2=(20-x)^2⇔n={(20-x)/x}^2={(20/x)-1}^2
と書くことが出来ます.
ここで20/xが整数でないと仮定すると, nは整数にはなり得ないので条件に反します[背理法].
したがって20/xは整数. つまりx,あるいは20/xは20の約数である必要があります.
また1<n<10なので, 1<{(20/x)-1}^2<10⇔1<(20/x)-1<√10⇔2<(20/x)<1+√10
ここで3<√10<4なので4<1+√10<5がいえます.
以上から20/xは3以上4以下の20の約数ですから, 20/x=4⇔x=5と決まります.
このときn={(20/5)-1}^2=9で, n=9, x=5と求まりました.

この回答にコメントする
疑問は解決しましたか?