1885年にメアリー・グラタン＝ベリューと結婚し、彼女との間に以下の5子を儲ける[1]。
- 第1子(長男)アレグザンダー・アーサー・フレイザー (1886-1979) - 第20代ソルトーン卿を継承。
- 第2子(次男)ジョージ・フレイザー (1887-1970)
- 第3子(三男)シモン・フレイザー (1888-1914) - 第一次世界大戦で戦死
- 第4子(四男)ウィリアム・フレイザー（英語版） (1890-1964) - 陸軍准将
- 第5子(長女)メアリー・アレグザンドラ・フレイザー (1891-1969)