参考・概略です
【ベクトルの「→」を省いて表記します】
以下のような流れとなっています
●a＋b＋c と 2a－5b の内積を計算すると
(a＋b＋c)･(2a－5b) ･･･『1行目』
＝2(|a|²＋a･b＋a･c)ー5(a･b＋|b|²＋b･c) ･･･『2行目』
●②a･c＝0，b･c＝0 から
＝2(|a|²＋a･b)ー5(a･b＋|b|²) となり
●整理して
＝2|a|²－3a･b－5|b|² となり･･･『3行目』
●さらに，仮定|a|²＝6 と①a･b＝3|b| から
2|a|²－3a･b－5|b|²
＝2×6²－3×3|b|－5|b|² ･･･『4行目』
●整理し，因数分解
＝－5|b|²－9|b|＋72 ･･･『5行目』
＝－(5|b|²＋24)(|b|－3) ･･･『6行目』
●ここで，改めて「a＋b＋c と 2a－5bのなす角90°」から
(a＋b＋c)⊥(2a－5b) であるから ･･･『7行目』
(a＋b＋c)･(2a－5b)＝0 ･･･『8行目』
●と確認し，6行目の結果を引き継ぎ
よって，－(5|b|²＋24)(|b|－3)＝0 ･･･『9行目』
●|b|についての2次方程式として，解き
|b|＞0 であるから |b|＝3 ･･･『10行目』
●①a･b＝3|b|と |b|＝3 から，a・b＝3・3＝9 なので
このとき，①から a・b＝9 ･･･『11行目』
●これらを踏まえて，|a＋b＋c|を考えると
|a＋b＋c|² ･･･『12行目』
●展開公式より
＝|a|²＋|b|²＋|c|²＋2(a･b＋b･c＋ca） ･･･『13行目』
●仮定|a|＝6,|c|＝1,②a･c＝0，b･c＝0，結果|b|＝3，a･b＝9より
＝6²＋3²＋1²＋2(9＋0＋0)＝64 ･･･『14行目』
補足
以下のような流れとなっています
は
「|aベクトル|=6と、①②からの後」の流れです