文化9年（1812年）、笠間藩士・山本郷右衛門の次男として常陸国笠間（現 茨城県笠間市）で生まれる。父・郷右衛門は水戸藩士の子で、笠間藩の山本家に養子入りした。郷右衛門は、鈴木六郎治より唯心一刀流剣術を、久能源十郎より島村流水術を学び、後に剣術では藩校の講武館の師範代、水術では島村流師範となった。鉄之丞は幼少より父から剣術と水術を学んだ。
藩校・講武館が設立されると、講武館で鈴木十内（鈴木六郎治の子）と杉浦与三兵衛（景高）より唯心一刀流剣術を学ぶ。
文政12年（1829年）、中小姓として出仕。
天保12年（1841年）、水戸藩で藩校・弘道館が開設され、鉄之丞が招かれて試合を行った。結果は鉄之丞が水戸藩側の剣士全員に勝った。この結果を水戸藩主・徳川斉昭は賞賛し、鉄之丞に「鬼鉄」の名を与えたという。
翌天保13年（1842年）、水戸藩士・金子健四郎（神道無念流）らが前年の雪辱を果たしに笠間に来た。鉄之丞はその時、水戸藩で従兄弟の看病をしていたが、知らせを聞いて笠間に戻り、健四郎との試合に臨んだ。結果は、鉄之丞が10本勝負で7本勝ったという。試合中、健四郎は3度竹刀を叩き落とされたという。
この時期、山本鉄之丞と村上亘（示現流）は笠間の剣術の双璧として並び称されており、水戸藩から剣術家が何度も訪れ、鉄之丞や亘に試合を挑んだが勝てなかったという。
天保14年（1843年）8月、鈴木十内より唯心一刀流の皆伝を受け、同年11月に30石を与えられ、藩校の剣術師範代となった。
鉄之丞は、笠間藩だけでなく水戸藩にも度々赴いて剣術を指導したので、水戸藩主・徳川斉昭より太刀を贈られている。また、鉄之丞の門人は笠間藩・水戸藩だけでなく他藩からも入門する者もおり、日向（宮崎県）の延岡藩より入門した者もいた。
弘化2年（1845年）、島村流水術の指南免状を受ける。
嘉永3年（1850年）、水術師範となるが、同年7月21日に39歳（数え年）で死去する。
弟子に、「笠間奴」の異名で呼ばれた猪瀬虎之助がいる。
