信濃国松代藩士・山寺久敬（知行160石）の子として生まれる。幼少時から好学の士として名を挙げ、藩に出仕すると、文政11年（1828年）には目付役となり、普請奉行に進む。江戸詰めとなり、兵学を平山行蔵、経学を古賀侗庵に学ぶ。また松崎慊堂や佐藤一斎、中村正直らと交友を結ぶ。天保12年（1841年）に藩主真田幸貫が老中に就任し、海防を所掌すると、常山は藩士に兵学を講義し、督励した。同14年（1843年）藩の寺社奉行と軍奉行を兼帯し、領内の警備を固めた。弘化4年（1847年）の善光寺地震の際には賑恤に奔走し、家禄を加増された。嘉永5年（1852年）に真田幸教が藩主となると、側役頭取となり、同6年（1853年）の黒船来航に際しては、幕閣で藤田東湖や長岡是容らと対応策を画策した。明治3年（1870年）の松代騒動に際しては藩知事の真田幸民から政務を委任され、民衆の鎮撫に努めた。明治4年（1871年）に長野県学校が設置されると、教授に迎えられ、皇漢学を講義した。
著書に「常山文集」、「如座漏船居紀聞」、「松代封内実測図」などがある。長野市城山に頌徳碑がある。旧邸宅は国の登録記念物となっている。
