米沢藩士・林辺忠政の二男として生まれる。後に山吉家に養子入りしたため、系譜上は山吉新八（赤穂浪士討入に際し吉良方として善戦）の仍孫ということになる。幼名は佐久馬。明治元年（1868年）に養父から家督相続し、米沢藩主上杉茂憲の小姓や、権少参事公用人などを務める。
廃藩置県後は明治政府に出仕し、明治8年（1875年）から明治15年（1882年）にかけて福島県の権令（県令）を務める。その任期中の明治11年（1878年）5月14日早朝、内務卿大久保利通をその私邸に訪問し、安積疏水の件などについて話し合った。その数時間後、出仕途中の大久保は暗殺された（紀尾井坂の変）。大久保の家人以外で、最後に大久保と話した人物ということである。なお、その時に大久保が語った言葉は、山吉により『済世遺言』と題してまとめられている。
