富小路敬直子爵の次男相楽富道を祖とする。富道は幼少にして奈良興福寺に入れられて同寺慈門院住職となっていたが、明治元年(1868年)に勅命により復飾し、明治2年(1869年)に堂上格を与えられて一家を起こして相楽を家号とした。
家名は、江戸時代の富小路家当主永長の四男利直が分家した際に相楽を称したのに由来する(彼一代で絶家)。
明治8年(1875年)に特旨をもって華族に列し、富道は明治13年8月10日に没した。明治17年(1884年)7月7日の華族令施行で華族が五爵制になると、翌8日に富道の養子の相楽綱直が男爵に叙された。綱直の夫人は中園実受子爵の娘澄子。
嵯峨公勝侯爵の四男相楽公愛が綱直が養子に入った。公愛は警視庁の警察官だった。彼の代の昭和前期に相楽男爵家の住居は神奈川県茅ヶ崎町下高砂にあった。昭和18年(1943年)の公愛の戦死後継嗣を欠いて失爵した。