一応、高校なので
参考・概略です
――――――――――――――――――――――――――――
【Ⅰ】公式的なものを利用した場合
２つの円の交点を通る円
x²＋y²－2x－2y－11＋k(x²＋y²＋4x－4y－17)＝0
原点(0，0)を通ることから
－11－17k＝0 で、k＝－11/17
x²＋y²－2x－2y－11＋(－11/17)(x²＋y²＋4x－4y－17)＝0
17x²＋17y²－34x－34y－187－11x²－11y²－44x＋44y＋187＝0
6x²＋6y²－78x＋10y＝0
x²＋y²－13x＋(5/3)y＝0
―――――――――――――――――――――――――――
【Ⅱ】2つ円の交点を求めた場合
(1)から、y＝3(x－1)
円の式に代入し方程式を解くと、x＝{13±√119}/10
交点({13－√119}/10，{9－3√119}/10)，({13＋√119}/10，{9＋3√119}/10)
原点を通る円であることから、x²＋y²＋ax＋by＝0
交点を代入し、連立方程式を解いて、a＝－13、b＝5/3
――――――――――――――――――――――――――――
【Ⅲ】(1)を利用した場合
求める円が原点を通る円であることから、x²＋y²＋ax＋by＝0
x²＋y²＋ax＋by＝0 と x²＋y²－2x－2y－11＝0 の交点を通る直線
(a＋2)x＋(b＋2)y＋11＝0 ･･･ ①
x²＋y²＋4x－4y－17 と x²＋y²－2x－2y－11＝0 の交点を通る直線
(1)から、3x－y－3＝0 ･･････ ②
①と②が一致することから、a，b の値を考える
①×(－3/11)で、(-3/11)(a＋2)x＋(－3/11)(b＋2)y－3＝0
xの係数：(－3/11)(a＋2)＝3 で、a＝13
yの係数：(－3/11)(b＋2)＝－1 で、b＝5/3
x²＋y²－13x＋(5/3)y＝0
