乙瀬氏の始まりは近江国坂田郡人粟田臣乙瀬が徳島県鳴門市瀬戸町明神弐軒家に移り住んだのが起源とされている。
孝昭天皇の皇子である天足彦国押人命(あめのおしたらしひこのみこと)を祖とする和珥氏の枝氏である。 和珥氏 → 春日氏 → 粟田氏 → 乙瀬氏
姓ははじめは臣であったが、天平神護元年(765年)三月癸巳に朝臣に列せられた。
徳島県板野郡藍住町乙瀬は江戸時代から記録のある地名。山口県岩国市小瀬乙瀬という地名もある。
子孫は大阪府堺市中区に乙瀬家(おつせ)、徳島県鳴門市に乙瀬家(おとぜ)が居るとされる。