はじめ初代山下又太郎の門人で山下小式部、山下市五郎と名乗り上方で活躍する。のちに二代目芳澤あやめの門人となり芳澤五郎市と改名、若女形として江戸の舞台にも出た。宝暦3年（1735年）には二代目芳澤万代を襲名するが、翌年再び五郎市の名に戻った。明和元年（1764年）11月、江戸市村座の『若花木須磨初雪』で三代目芳澤崎之助を襲名し人気を集める。以降東西の舞台に出演。安永7年（1778年）11月、江戸中村座『贍雪栄鉢木』で四代目芳澤あやめを襲名した。その後上方に戻って天明7年（1787年）正月、大坂の中村粂太郎座に出たのを最後として舞台から名は見えなくなる。享年56。
時代物より世話物を、その中でも女房役を得意とした。子に初代松本米三郎、二代目芳澤吉十郎がいる。吉十郎はのちに初代中村仲蔵の養子となり、七代目中山小十郎と九代目志賀山万作を名乗った。