これは、動詞 insist の使い方に、不定詞を使う用法がないからです。
いわゆる「語法」(単語と単語の相性)の問題です。以下の二つの英文をそのまま覚えておけば良いと思います。
【覚え方:insist(…を主張する)の使い方2種類】
1. My sister insisted on(前置詞) my/me(動名詞の意味上の主語:どちらでもOK) solving(動名詞) the problem by myself.
姉は、私が自分でその問題を解決するよう主張した。 ※✕前置詞+不定詞、〇前置詞+名詞・代名詞・動名詞
2. My sister insissted that I (should:省略可能) solve(動詞・原形) the problem by myself.
姉は、私が自分でその問題を解決するよう主張した。
参考にしてください。