辻芳五郎は、幕府の普請役を務めた辻嘉右衛門の子として生まれた。父と同じく普請方に属し、実務能力を備えた幕臣として知られた。
安政4年（1857年）12月、前年に死去した二宮尊徳が生前に幕府へ提出していた転任および処遇改善の願いについて、幕府による正式な事後処理が行われた。この際、尊徳本人に代わって幕府からの申渡を受け、関係諸機関への挨拶・折衝・実務的手続きを一手に担った。このとき芳五郎は、公式に名代として行動しており、幕府実務における信任の厚さがうかがえる。
万延元年（1860年）、万延元年遣米使節が派遣された際には、益頭俊次郎とともに御普請役として使節団に随行し、渡米航海および滞在に関する実務を担当した。このとき、辻の従者として、行田出身の中村新九郎信仲が同行していたことが記録されている。
文久3年（1863年）には、幕府の命により、御使僧である法光寺僧を津軽三厩まで送迎する役務を、御普請役として担当し、その輸送および宿泊等の手配を行った。