駿河国富士郡賀島（静岡県富士市）に発祥。賀島長重は今川氏を経て織田氏に仕えていたが、本能寺の変で織田信長が横死した後、長重の子長昌は妻の兄にあたる蜂須賀家政を頼って阿波国へ移住した。その子政慶は徳島藩家老として阿波国富岡で一万石を領するようになった。
幕末維新期の当主は賀島政範。維新後には当初士族に列した。明治17年（1884年）に華族が五爵制になった際に定められた『叙爵内規』の前の案である『爵位発行順序』所収の『華族令』案の内規（明治11年・12年ごろ作成）や『授爵規則』（明治12年以降16年ごろ作成）では万石以上陪臣が男爵に含まれており、賀島家も男爵候補に挙げられているが、最終的な『叙爵内規』では旧万石以上陪臣は授爵対象外となったためこの時点では賀島家は士族のままだった。
明治15年・16年ごろ作成と思われる『三条家文書』所収『旧藩壱万石以上家臣家産・職業・貧富取調書』は、賀島政範について旧禄高を1万石、所有財産は金禄公債4664円、銀行株券5000円、宅地田畑22丁2反、山林67丁、家屋15棟、職業は無職、貧富景況は空欄と記している。
政一が家督を継いだ後の明治33年5月9日に旧万石以上陪臣家、かつ一定以上の財産を保持している家がまとめて男爵に叙された際に同家も男爵に叙せられた。昭和前期に賀島男爵家の住居は東京市渋谷区幡ヶ谷笹塚町にあった。
