岡山県令・高崎五六の三男として生まれる[1][3]。兄高崎安彦の死去に伴い、1911年（明治44年）1月31日、男爵を襲爵した[1][3][4]。
学習院を経て、東京帝国大学法科大学法律学科（独法）を修了した[2][3]。1906年、三井物産に入社し米国ニューヨーク支店勤務となる[2]。その後、日本製鋼所社員に転じた[2]。
1918年（大正7年）7月10日、貴族院男爵議員に選出され[5][6]、公正会に所属して活動し1947年（昭和22年）5月2日の貴族院廃止まで4期在任した[2]。その他、政府貸付金処理委員会委員、財政収支調整調査会委員を務めた[2]。
