『新編国志』に常陸国那珂郡飯島村より起こる[2][3]という。明徳2年(1391年)12月2日の熊野山参詣願文に飯島七郎光忠、宗忠の名が見える。
また、常陸国に佐竹東家の家臣に飯嶋氏がある。慶長2年(1602年)の佐竹氏の秋田転封に際し、佐竹東家の佐竹義賢に随行した仍安が秋田郡に定住、秋田藩士 飯嶋氏として成立する。元禄12年(1699年)2月19日に飯嶋市左衛門直重筆『飯嶋氏近代分之系図』にその系譜が記されている[4]。直重の継嗣は安島吉兵衛信次の次男で安島氏より飯嶋氏に養子入りした者である[5]。
系譜 飯嶋仍安―市左衛門直重―十郎兵衛直知