まず、僕は理系で、学部は工学部です。
当たり前ですが高校受験を乗り越えたなら、同じくらいの学力の人たちが集まっているのだから、中学と同じ成績にはならないと思います。
定期テストの成績の件に関しては、入学後間もないこの時期に行われたごくごく狭い範囲の、学校内だけで行われた定期試験の結果だけで、文理を決めてしまうのは良くないかと思います。たぶん、テスト範囲は、因数分解とか不等式や集合論、どれだけ早くても命題の論証、場合の数のあたりだと思われます。それだけで、高校数学が難しいとか簡単とか言うのはなんだか違うなと感じてしまいます。どのあたりが難しいと感じているのかな?というのは気になりますが、いずれにせよまだ全然始まったばかりなので気にしすぎても仕方ないです。それから、文系を選んだとしても、数IAと数IIBはおそらく必要だと思うので、苦手だから完全に逃げるということは難しいです。
文理選択に関しては、数学だけで決めなくていいと思います。もちろん数学は理系の入試において、占める割合が高いのは事実ですが、入ることがゴールじゃなくて、そこからまた4年通うわけです。そうなると、そこで何をするかの方が大事なので、将来何をしたいのか、どこの学部に行きたいのか、を軸に決めたほうがいいと思います。理科に関しても学ぶうちに興味が湧くかもしれません。受験勉強の挫折を心配するより、もっと先を見据えたほうが良いというのが僕からのアドバイスです。
何か質問等あればコメントしてください。