回答

we are planning to visit a zoo.
ならば意味が通じますが、

we are planning to a zoo.
では「動物園の計画をしている」となってしまい文の流れがおかしくなります。

この回答にコメントする
疑問は解決しましたか?