参考・概略です
展開公式 (a+b+c)²=a²+b²+c²+2ab+2bc+2ca を変形しています
●両辺を入れ替え
a²+b²+c²+2ab+2bc+2ca=(a+b+c)²
●左辺の「+2ab+2bc+2ca」を右辺に移項して
a²+b²+c²=(a+b+c)²-2ab-2bc-2ca
●右辺に移項したものを「-2」でくくり
a²+b²+c²=(a+b+c)²-2(ab+bc+ca)
●与えられた条件の値「a+b+c=11、ab+bc+ca=17」を右辺に代入し
a²+b²+c²=(11)²-2・(17)
●右辺を計算し
a²+b²+c²=121-34=87