回答

(1)
 3a²-4a-8b-4c-3=0 ①
 a²+2a+4b-8c+9=0 ②

 ①*2-②より
 5a²-10a-20b-15=0
 b=(5a²-10a-15)/20 = (a²-2a-3)/4

 ①+②*2より
 5a²-20c+15=0
 c=(5a²+15)/20 = (a²+3)/4

(2)
 三角形の各辺は a+b>c,b+c>a,c+a>b でなければならないので
 
 a + (a²-2a-3)/4 = (a²+2a-3)/4 > (a²+3)/4
  ∴ a > 3
 (a²-2a-3)/4 + (a²+3)/4 = (a²-a)/2 > a
  ∴ a > 3
 (a²+3)/4 + a = (a²+4a+3)/4 > (a²-2a-3)/4
  ∴ a > -1
 従って 三角形ABC が存在するためには、a > 3 でなければならない。

 a,b,cのうち最大⇒対角が最大 となるので (a>3を考慮して)

 c-b = (a²+3)/4 - (a²-2a-3)/4 = (2a+6)/4 = (a+3)/2 > 0
  より c > b
 c-a = (a²+3)/4 - a = (a²-4a+3)/4 = {(a-2)²-1}/4 > 0
  より c > a
 よって cが一番大きいので、角度Cが最大。

(3) 余弦定理使えば出るかな?

この回答にコメントする
疑問は解決しましたか?