まずこのto write以下は
to不定詞の形容詞的用法としてno penを修飾しています。
このto write your phone number withは元々
"I write your phone number with a pen."
だったと考えてみてください。
関係代名詞と同様にto不定詞の形容詞的用法も
名詞を説明する為に上記の文が形を変えたものです。
今回の場合withの後の"a pen"がI have no penの"pen"と同じだから説明に使えると捉えられ、
説明するかたまりにする為に
to write your phone number with
に変化しました。
つまりwithが文末に残ったという感覚です。
丁寧にご説明して下さりありがとうございます!
謎が解けました!ありがとうございます🙇♀️