ofの後ろの名詞interest というのとセットになって
直前の名詞areaを修飾しています。
the area of most interestは
of most interest な area ということです。
of + 抽象名詞 は形容詞に直して考えることができます。
たとえば
of importance=important
of use=useful
みたいな感じ
正確には全ての抽象名詞を形容詞に直せるとも限りませんが、直せない単語の場合でも、形容詞的な役割を読み取ることができます。
そんなわけで
the area of most interestは
the most interesting areaと同じだと考えれば良いと思います。