青森県弘前生まれ。伯父・菊池九郎が創立した東奥義塾を卒業後、室蘭炭礦汽船を経て上京、青森リンゴ販売商となる。東亜同文会の清国派遣留学生選考に合格して上海に渡り、その後南京同文書院（後の東亜同文書院）に入学した。この頃、兄に孫文を紹介されている。卒業後は同院教員、日露戦争での通訳従軍を経て南満州鉄道に入社した。
兄の遺志を継いで孫文を支援し続け、第一次世界大戦中の第2次大隈内閣による対華21か条要求など日本政府と袁世凱政権の関係悪化による孫文の対日不信の中にあっても山田は信頼を受けた。再び孫文が政権を回復した場合、日本軍が孫文に協力する旨の日中盟約を秋山真之海軍軍務局長が作成した際には仲介役を担っている。しかし、秋山は、日本政府の袁世凱支持方針に反するとして左遷された。
袁世凱後の段祺瑞政権下においても山田は孫文の信頼を受け続けており、その動向は常に日本側の監視下におかれていた。
1925年（大正14年）北京での孫文臨終には日本人として立ち会っている（他に立ち会った日本人に萱野長知がいる）[2]。
その後、山田は1945年（昭和20年）の日本敗戦まで上海で過ごした。
