四代目市川小團次と初めて舞台を共にした時、小團次の抜け目はないが思慮もない芸風を團蔵は毛嫌いし、だんまりの場でわざと動かないという嫌がらせで小團次を困らせようとしたが、それを承知で動く小團次の立ち回りを見ているうちに逆にそのうまさに感心、こいつはきっと名優になると自信をもって公言するになったという。
芸熱心で、自分の舞台を見た妻から「長刀の使い方がよくない」と指摘される。團蔵は、役者の妻は舞台の演技を見てはならないという当時の戒めを破ったことをとがめず、逆に武芸の心得があった妻から長刀の正しい使い方を教えてもらったという。
地味なところは徹底していて、自身の葬儀も、会葬者が自宅に訪れると家の中はもぬけの殻、有る物といえば一枚の張り紙のみで、そこには辞世の狂歌「我死なば 香典うけな さしにない 坊主頼まず すぐに極楽」が書かれていた。集まった者は「死んでまで渋いなあ」と故人を惜しんだという(八代目市川團蔵 著『七世市川團蔵』)。
養子に五代目市川團三郎、二代目市川市紅、また死後、團蔵の高弟が未亡人の養子となり、いわゆる「位牌養子」「芸養子」として團蔵の名跡をついだのが、六代目市川團蔵である。