参考・概略です
この問題は。工夫をするより、
普通にやる方が正確で速くできます
普通にやる場合
3(a²-b²)-2a(a+3b)-4b(-a-2b)
=3a²-3b²-2a²-6ab+4ab+8b²
=a²-2ab+5b²
工夫例①
3(a²-b²)-2a(a+3b)-4b(-a-2b)
=3(a+b)(a-b)-2a(a+3b)+4b(a+2b)
=3(a+b)(a-b)-2a(a+b)-2a(2b)+4b(a+b)+4b(b)
=(a+b){3(a-b)-2a+4b}-2a(2b)++4b(b)
=(a+b){3a-3b-2a+4b}-4ab+4b²
=(a+b)(a+b)-4ab+4b²
=a²+2ab+b²-4ab+4b²
=a²-2ab+5b²
工夫例②
3(a²-b²)-2a(a+3b)-4b(-a-2b)
=3(a+b)(a-b)-2a(a+3b)+4b(a+2b)
=3(a+b)(a-b)-2a(a+b)-2a(2b)+8b(a+b)-4b(2a)
=(a+b){3(a-b)-2a+8b}-2a(2b)-4b(2a)
=(a+b){3a-3b-2a+8b}-4ab+4ab
=(a+b)(a+5b)-8ab
=a²+6ab+b²-8ab
=a²-2ab+5b²