頭の中での想像なのでまとまっていませんが…
僕だったら中心を原点に置き、まず、点Pは例えば(2,0)に固定します。そして、点Q,Rを三角比を使って座標を置き、ベクトルの面積公式使って、目的関数を作っていくかなぁと思います。
(でも実は正三角形になる時に最大になるのは証明出来ますが汗汗汗)
ちょっとやってみたんですが、、PをP(-2,0)に置いた方が良さそうですね…あとベクトルを使わない方が簡単に表せそうですね…
例えばQ(6cosθ-2,6sinθ)、R(6cosφ-2,6sinφ)って置くと、
S＝1/2×2√(10-6cosθ)×2√(10-6cosφ)×sin(φ-θ)
で表せましたね…
これの最大値を求めればいいって感じですかね
すいません問題読み違えてました！
()の部分は撤回します🥲
ですが素直に上のやり方でやるといいと思います。