権大納言山科言知の次男若王子遠文を祖とする。遠文ははじめ得度して雄厳と称して聖護院若王子寺住職となり、大僧正に任じられていたが、明治元年(1868年)に勅命により復飾し、明治2年(1869年)に堂上家の列に加えられ、蔵米30石3人扶持の家禄を下賜された。
明治3年に定められた若王子家の家禄は、現米で254石1斗[注釈 1]。
明治9年の金禄公債証書発行条例に基づき家禄と引き換えに支給された金禄公債の額は、9212円41銭5厘(華族受給者中412位)。明治前期に遠文の住居は、京都府上京区東竹屋町にあった[9]。
明治17年(1884年)7月7日の華族令施行で華族が五爵制になると、翌8日に男爵に叙された。遠文は貴族院の男爵議員に選出されて死去するまで2期在任した[10]。
その息子文健も貴族院の男爵議員に当選して務めた。また箱根土地会社取締役や有隣生命保険会社重役などを務めて実業家として活躍した。彼の代に若王子男爵家の邸宅は東京市渋谷区千駄ヶ谷にあった。
昭和17年8月1日に文健が死去した後は文俊が爵位と家督を相続。その子に信之、その子に文樹がある。