to不定詞の基本に立ち返りましょう。
関係詞とセットで使っていても、to不定詞はto不定詞です。
to不定詞の意味上の主語が、主節の主語とちがう場合は、to不定詞の前にfor〜で書かれます。
いまfor〜がないので、to不定詞の意味上の主語は主節の主語と同じです。
つまり
with whom to quarrel は
with whom he quarreled に直せるということです。
(動詞の時制は主節のwasに合わせて過去形にしています)
He was miserable unless neighbors with whom he quarreled.
unlessは基本的には接続詞ですから、unlessの後ろには省略がありますね。he had neighbors と補いましょう。
関係詞は2文を1つに接続する役割がありますから、わからなかったら分割してみましょう。
① He was miserable unless (he had) neighbors
② He quarraled with neighbors
①の文が主節、②を関係詞の節として繋ぎたいです。
共通しているのはneighborsなので、
②の neighborsを適切な関係詞にします。
neighborsは人を表す名詞で、かつ前置詞の目的語なので、目的格のwhomにします。
前置詞の後ろの名詞のことを「前置詞の目的語」と言います。他動詞の後ろの名詞のことを目的語というのと同じです。人を表す名詞が目的語で、それを関係詞に変えるときはwhoかwhomを使います。ただし、前置詞の目的語の場合は必ずwhomだと覚えてしまって良いです。
そうすると
② He quarraled with whom となりますね。
これのwith whomを文頭に出して、
①のneighborsの後ろにくっつけたのが
He was miserable unless (he had) neighbors with whom he quarreled.
です。