静岡県田方郡伊東町（現・伊東市）生まれ[2]。1949年、巣鴨経済専門学校を卒業[2]。知人に「先生をやってみないか」と勧められ、1950年に熱海市立多賀中学校の教師となる。その後、伊東市立北中学校などで社会科を教えた[3]。
1963年、勤評闘争や学力テスト闘争が激化するなか「単なる組合活動だけでは解決できない。自治体に議員を送るべきだ」と考えた芹沢は教員を退職。伊東市議会議員選挙に自ら立候補し初当選を果たした[3]。1979年まで4期務めた。議員時代は日本社会党に所属した[4]。
1982年7月18日に行われた伊東市長選挙に日本社会党・日本共産党・新自由クラブの推薦を得て立候補。自由民主党公認の石川完一を僅差でかわし初当選した（芹沢：18,606票、石川：18,352票）[5]。
1986年の市長選では社会党・共産党・社民連の推薦と公明党の支持を得て立候補。自民党推薦の井原一夫を破り再選[5]。
1990年の市長選では社会党・共産党・社民連の推薦と公明党・民社党の支持を得て立候補。自民党推薦の井原一夫を58票の僅差でかわし3選（芹沢：20,495票、石川：20,437票）[5]。
1994年の市長選では社会党・共産党の推薦と公明党の支持を得て立候補。保守勢力は、自民党推薦の前県議の鈴木藤一郎と、新生党・日本新党推薦の前市議の久保田光とで分裂した。それにもかかわらず芹沢は鈴木に敗れ、落選した（鈴木：19,929票、芹沢：15,672票、久保田：6,535票）[6]。
1995年5月27日、膀胱がんのため死去[7]。67歳没。
