関係副詞は使えないですか? → ハイ、使えません。その理由は、以下のようになります。
What do you say to going to the restaurant? + ② Jim told us about it(代名詞・目的格=the restaurant).
⇒ What do you say to going to the restaurant <(which)(関係代名詞・目的格:省略可能) Jim told us about>?
<ジムが私達に話していた>レストランに行ってみない?
参考にしてください。