菟狭津彦命の末裔と伝わるが不詳。欽明天皇29年(568年)に諸石が八幡神を勧請したのに始まり、飛鳥時代に法蓮が宇佐姓を賜った。奈良時代の宇佐池守が初めて宇佐神宮宮司に任じられ、9世紀以降大神氏と大宮司職を交互に務めるようになった。鎌倉時代に大神氏が没落した後は宇佐氏が大宮司を独占するようになった。
鎌倉末期に宇佐氏は宮成家と到津家に分裂した。到津家は宇佐公世の末子公連が南朝から豊前国企救郡到津荘の地頭に任じられたことで総領家から独立して到津氏を称したのに始まる。南北朝時代を通じて到津家は南朝から大宮司に任命され続けた。南北朝合一後は宮成家と交互に大宮司を務めることになった。
明治5年(1872年)に到津公誼が華族に列せられ、明治17年(1884年)7月7日に華族令が施行されて華族が五爵制になると、翌8日に男爵に列せられた。3代男爵到津保夫の代に到津家の住居は熊本県宮地町にあった。