私もうろ覚えなので正しいのかどうか曖昧ですが(すいません)
当時の日本では金がそこまで高値がつかずむしろ銀の方が高かったんですね。
でも、外国では金の方が高値で銀の方が安いわけです。
だから当時外国人は日本では金を買って、国に持ち帰り銀に変えました。
そしてその銀をまた日本に持ち帰って売ったんです。
するとどうなるかというと日本で5で金を買ったら、母国で10の銀に変え、日本に持ち帰り銀を売って最終的に20になる。というふうに外国が得をしました。だから日本から大量に金が流出したんです。
この解説がお役に立てば幸いです。