✨ ベストアンサー ✨
go shopping 「買い物をしに行く」
go fishing 「釣りをしに行く」
go swimming 「水泳をしに行く」
など,go 〜ingの形で「…しに行く」という意味(の,いわば慣用表現)になります。
wantやlikeなどの他動詞と違って,「泳ぐこと」という不定詞の名詞的用法を続け(て「泳ぐことを行く」?と解釈す)ることはできませんし,「泳ぐために行く」のだとするとどこに行くのだかよく分かりません。
行く場所が(この1文よりも前までの)文脈上明確な場合は,let's go to swimとも言えなくもないかもしれません。
が,基本的にはgo 〜ingがよいでしょう。