all の後ろのthatは関係代名詞です。
私が知っている全てのこと という感じで、
that I knowのまとまりが後ろからallのことを説明しています。
heの前のthat は接続詞で、that he is going shopping というまとまりを作って、彼が買い物に行っている「こと」という感じの意味になります。
直訳すると
私が知っている全てのことは、彼は買い物に行っているということだ となります。
もう少しこなれた日本語にすると
「彼は買い物に行ってるということしか情報がない、どこ行って何してるか詳しくわからない」という感じの意味です。