嘉永4年4月10日（1851年）、岡山藩士・難波湛の次男として岡山市内七軒町に生まれる。のちに岡山藩士・青山市衛の養子となり、青山姓を称した。
幼少より武技を好み、軍人として身を立てることを志す。明治4年（1871年）に陸軍へ入隊し、明治10年（1877年）の西南戦争では出征軍に参加して各地に転戦し、武功を挙げた。これにより陸軍歩兵大尉に昇進した。
明治18年5月、願い出て退職し、以後は閑地に居住して悠々自適の生活を送っていたが、明治37年（1904年）の日露戦争に際し動員令を受けて再び軍務に復帰し、清国に渡航して征露軍に参加、奮戦して軍功を挙げた。
明治38年12月に凱旋し、ほどなく隠退したのち、明治39年1月に陸軍歩兵少佐に昇進し、従六位に叙された。同年4月、その軍功により功五級金鵄勲章および権四等旭日小綬章を授与された。
また、明治19年（1886年）、岡山区在住の陸軍将校であった青山好昌ら6名が発起人となり、岡山将校会を組織し、当初は毎月交互に会員宅に集まり親睦を図った。後に会員数の増加に伴い、親睦に加えて兵事研究も行うようになった。
大正8年4月8日、病没。享年69。墓所は岡山市操山山脈の松林寺にある。