>mghのhは0.1mの玉の大きさってことになりますよね?
違います
mghのhは重力による位置エネルギーの基準の位置からの高さ、ですよね。
今回は、重力による位置エネルギーの基準は最下点の位置、すなわち、バネの自然長の長さから0.30[m]下の場所にしています。だから、最下点の重力による位置エネルギーは、0になっています。
(2)よりつり合いの位置はバネの自然長の長さから0.20[m]下なのですよね?
ということは、つり合いの位置は重力による位置エネルギーの基準(今回はバネの自然長の長さから0.30[m]下の場所)より、0.10[m]高いから、つり合いの位置での重力による位置エネルギーmghのhに代入する値は+0.10になります。
弾性力による位置エネルギー1/2kx²のxとはバネが自然長から何[m]伸びた(or縮んだ)かを代入します。
つり合いの位置はバネの自然長の長さから0.20[m]伸びた位置だから、xに0.20を代入します。
分からなければ質問してください