藩祖は大島光義である。光義は織田信長・豊臣秀吉に仕え、慶長3年(1598年)に1万1200石を与えられて大名となった。
慶長5年(1600年)の関ヶ原の戦いでは、西軍の石田三成に妻子を人質に取られたが、妻子を顧みずに東軍に与して戦功を挙げた。光義は戦後に1万8000石に加増され、関藩が立藩した。
光義は慶長9年(1604年)に死去した。家督は嫡男の光成が継いだが、光義の遺言により光成は家督と7500石の所領しか継がず、残りの所領は弟の光政・光俊・光朝にそれぞれ分与したため、それぞれが大名の資格を失って旗本となり、関藩は廃藩となった。