芥屋は和名類聚抄にも志摩郡雛永と記載のあるように古くから存在する村であった[7]。1481年(文明13年)の太祖宮棟札に志摩郡芥屋安富庄村の記載が見られ、寛文年間の札には安富庄芥屋村の記載がある[7]。江戸時代は黒田氏の所領であった[7]。
十分な農地が確保できなかったことから半農半漁の村であり、芥屋村の男衆は冬季には杜氏、蔵男などとして肥前や豊前に出稼ぎに出かけていた[4]。その働きぶりから、同様に働きぶりの良いことで知られた近隣の野北村(現在の糸島市志摩野北)の女性と合わせて「野北女に芥屋男」のことわざが生まれたといわれている[4][8]。