武州上石原村（現：調布市野水）に、宮川音五郎（近藤勇の兄）の次男として生まれる。天然理心流剣術に入門し、宮川家の道場で稽古した。
文久3年（1863年）、近藤勇が浪士組として京都へ出立する際、勇の一人娘・たまの許嫁となる。その後は松井つね（勇五郎の除籍謄本に「東京府麹町区飯田町 士族松井八十五郎長女入籍ス」と記述される）・たまと共に生活していた。
戊辰戦争時、勇処刑の知らせを聞いた勇五郎は板橋で処刑を目撃。すぐさま郷里へ立ち帰り、音五郎と共に勇の遺体を引き取りにいったという。
明治9年（1876年）、たまと結婚して剣術道場「撥雲館」を新設。
明治16年（1883年）、長男・久太郎が生まれた。しかしその3年後の明治19年（1886年）にたまが死去。国分寺のたよと再婚したが、姑・つねと相性が悪く2年半程で離婚。次にかしと結婚した。
昭和初期、子母澤寛の取材を受けて幕末当時の回顧談を語る。
昭和8年（1933年）、死去。享年83。「俺が死んでも線香はいらない、ただ、竹刀の音だけは絶やさないようにしてくれ」と言い遺した。
天然理心流剣術6代目は桜井義則、7代目は近藤新吉（勇五郎の次男、後妻の子）が継いだ。新吉は警視庁の剣道助手も務めたが、昭和11年（1936年）早世した。