大正12年の関東大震災で左腕を負傷、家業の造り酒屋を断念する。
1928年（昭和3年）4月、初代木村友衛に入門し友幸。7年の年季を務めたあと、1年の礼奉公を経て、さらに1年友衛の元で修行し、1913年、寿々木米若の人気にあやかり「若」の字をいただき若衛と自分で名をつけ25歳で独立。進取の精神に富む人で、浪曲特有の胴声でなく、綺麗な上声で歌うように聞かせる若衛節を作り出した（その後浪曲に入門した浪曲師は、ほぼ全て上声を使うようになる）。戦時中にジャズピアノの和田肇と組んで「歌謡浪曲」と名づけ、いち早く開拓した[1]。
戦中、戦後を通じ、人気実力ともにトップクラスで、1958年（昭和33年）に日本浪曲協会の会長に最年少の45歳で就任した。1957年（昭和32年）武智鉄二演出の革新的な試みの舞台「きりしとほろ上人伝」に国友忠とともに出演（床（タナ）読み）。1961年（昭和36年）10月から、ニッポン放送から漫画浪曲「孫悟空」を放送する（洋楽伴奏で漫画的な効果音を挿入）。
初代東家浦太郎、四代目天中軒雲月、松平国十郎と共に、関東を中心にした戦後四天王の一人である。得意演目は木村お家芸の「天保六歌撰（河内山宗俊）」「塩原多助愛馬の別れ」「小金井小次郎」。
知性、教養、品格と三拍子そろった人柄で、浪曲協会会長（計2期4年）のみならず、演芸界全体千五百人の団体である日本演芸家連合の会長を三遊亭圓生から引継いで1978年（昭和53年）から20年務め、国立演芸場の開場に尽力する。1981年（昭和56年）春、紫綬褒章受章。