回答

He was too old to swim
これを日本語にすると、
彼が泳ぐには年をとりすぎていた。
つまり、否定の単語は入っていないですが、泳げなかったということなのでcouldn'tです。

この回答にコメントする
疑問は解決しましたか?