「弟は私の忠告に決して耳を貸さず、よく私を苛つかせていた。」
意訳に近い直訳です。
この文中のupsetは他動詞で「(人を)動揺させる, 哀しませる, 憤慨させる」というネガティブな方向での精神的影響を意味します。
受動態になっているため、訳自体は「動揺する, 哀しむ, 憤る」など能動的なものになります。
次に登場するthatですが、これは直前のupsetが"感情を表す"ことから、(人に)その感情を引き起こした原因を示す節だと解釈できます。
このようなthat節の用法は文法書などにも記載されているので、時間があればご自身で確認してみてください。
更にthat節内の文に関して、my adviceが主語となり、過去完了形と受動態が使われています。
この部分の動詞はpayですが、pay attention to ～ 「～に注意を払う」という熟語表現が元になってます。
そして、by以降は「決して注意を払ってこなかった」人物が誰であるか述べられています。
これらを踏まえて文頭から完全な直訳を作ると、
「私はしばしば嫌な気分にさせられた、というのも、私のアドバイスが決して注意を払われてこなかったからだ、私の若い兄弟によって。」
のようになるでしょう。
あとは状況を思い浮かべ、より意味の伝わり易い日本語と並びに変えると、最初の回答のような和訳になります。
