おっしゃるように、哺乳類の性別の決定因子は父親側にしかありません。
もう少し正確に言いますと雄性決定因子で、それがあるとオスになり、無ければメスになるという仕組みです。
既に学ばれているかも知れませんが、性染色体の組み合わせがXXだとメス、XYだとオスになります。これは、Y染色体だけに含まれるSRYという遺伝子が、受精したあとの早い段階で胎児をオスにするように働き始めることによります。
X染色体はSRY遺伝子を含まないので、XXの組み合わせの時はオスになりません。
Y染色体は父親から引き継がれますので、性別の決定因子は父親側にしかないと言うことができます。
