導関数の定義に〜というときはlim(h→0)を使うと思ってください。
(2)与式=lim(h→0)((x+h)√(x+h)-x√x)/h
=lim(h→0) ((x+h)^3-x^3)/h ((x+h)√(x+h)+x√x)
=lim(h→0)(x^3+3x^2(h)+3x(h^2)+h^3-x^3)/h ((x+h)√(x+h)+x√x)
=lim(h→0)(3x^2+3xh+h^2)/((x+h)√(x+h)+x√x)
=3x^2/(2x√x)=3x/2√x=(3√x)/2