静岡県掛川に父･徳次郎の長男として生まれる。冀北学舎を経て、明治22年（1889年）東京帝国大学政治科卒業、大学院で研究する。
東京帝大法科助教授、経済学部教授等を歴任し、のち経済学部長。社会政策学会で指導的役割をはたし、退官後は中央大学教授、日銀顧問、金融学会初代理事会長をつとめた。1913年（大正2年）5月29日、帝国学士院会員となる[1]。
東大時代の教え子である賀屋興宣（大蔵次官、大蔵大臣）は山崎の貨幣論に感銘を受け、山崎の理論に依拠して日本銀行法を作ったと述べている[2]。墓所は染井霊園。
