かつては飾磨郡家島町に属していたが、2006年3月27日に家島町が姫路市と合併したことに伴い姫路市の一部となった。人口は27人、世帯数15(令和2年国勢調査)[1]。
同じ家島諸島の西島とともに採石業が盛んなため、島の大部分は採石場である。青井ノ浜海水浴場や立ノ浜海水浴場があり、シーズン中は観光客でにぎわう[2]。
島名は、現在の姫路市飾磨区付近に生息していた雌雄の鹿のうち、牡鹿がこの島へ渡ってきたという伝承による[3]。本土の飾磨区側にはこれに対応する妻鹿という地名がある。そもそも「飾磨」という地名自体が、鹿がいたことに由来するものである。
なお、秋田県男鹿市にある一等三角点も「男鹿島」と書くが、こちらは「おがしま」と読む。