盲人で鍼療を業とした若杉左斎と、久留米藩御用達井上清右衛門の妹の母の間に生まれる。もともと若杉家は代々長崎奉行のもとで地役人を務める家系で、明和7年（1770年）9月8日に従兄・若杉敬十郎の病死を受け、養子となってその跡を継ぎ、翌年、長崎会所請払役並に就く。安永8年（1779年）請払役を辞し、天明7年（1787年）敬十郎の実子・登市に家督を譲る。辞職後十数年ほど無役だったが、寛政4年（1792年）頃元同僚の久米豊三郎の娘婿に入って、会所請払役見習に復帰する。のち久米弥十郎と改称し、寛政6年（1794年）養父豊三郎の引退に伴い会所請払役に昇進、亡くなるまで同役を勤めた。戒名は卓然院祚卿日任居士。墓所は本蓮寺だが、墓域は取り払われて現在墓はない。
西洋画法研究の経緯は不明だが、江戸時代のなかでも特に優れた油彩画を残しており、最初に請払役を勤めた時期に才能を見出され、オランダ人から直接指導を受けていた可能性が高い。かつてはJ.E.リーディンガーの銅版画集『王侯の素晴らしき喜びと気高き狩猟の描写』をもとに制作しているとされたが、実際は同著者の『狩猟家と鷹匠』原図としている。顔料の科学的分析により、舶来顔料のプルシアンブルーを大量に使っているのも判明している。現存作品の約半数の6点が住友家伝来であり、五十八が銅の輸出や外国製品の輸入に携わっていた住友家と特別の関係であったことが窺える。