幕臣京極高紀の次男として誕生した。
慶応4年（1868年）2月12日、11代峰山藩主京極高富の養子となり、同年3月20日に京都で養父の名代として明治天皇に拝謁し、同年5月28日に家督を相続した。同年6月14日に従五位下・備中守に叙任される。明治2年（1869年）6月23日に峰山藩知事に任命され、明治4年（1871年）7月14日に廃藩置県により罷免され、同年9月28日に東京へ移った。明治6年（1873年）3月28日、海軍省に出仕し、水兵本部課所属となる。同年5月30日、海軍少尉に任命される。明治9年（1876年）9月30日に隠居。明治14年（1881年）7月9日に離縁となる（実家へ復籍か?）。
明治26年（1893年）5月13日に56歳で死去したとされるが、異説もある。「峰山郷土史」（上）には先述の年月日に没し、墓所は峰山町吉原の安泰山常立寺とあって、『三百藩藩主人名事典』3もこの記述を引用している。しかし『平成新修旧華族家系大成』によると、1893年5月13日に死去したのは高陳の2代後の当主高致（高富のもう1人の養子）で、高陳の没年は記述されていない。
