En 1480, Toda Munemitsu (1439–1508), que era el señor independiente de facto de la península de Atsumi durante el periodo Sengoku, erigió el que sería el predecesor del castillo de Tahara frente a la bahía de Mikawa. Amenazado por el creciente poder del clan Matsudaira al norte, el clan Toda juró lealtad al clan Imagawa
En 1547 Matsudaira Hidetada, decidió enviar a su hijo Hirotada (el que sería conocido más tarde como Tokugawa Ieyasu) como rehén al clan Imagawa para obtener apoyo militar, y pidió al clan Toda que se encargara de todo y entregara a Hirotada pero, en lugar de ello, lo entregaron al clan Oda a cambio de dinero. En respuesta, el clan Imagawa atacó y se hizo con el castillo durante diez años, hasta que fue ocupado por el clan Tokugawa. Tras la Batalla de Odawara en 1590, Toyotomi Hideyoshi asignó la región de Kantō a Tokugawa Ieyasu y el clan Toda fue desposeído de todos sus territorios, los cuales fueron entregados a Ikeda Terumasa, vasallo de Hideyoshi, quien reconstruyó el foso y la muralla, aunque la parte central continuó teniendo un aspecto medieval. Durante el periodo Edo el castillo contaría con una ciudadela interior, una intermedia y otra exterior, pero carecía de torre del homenaje.
Tras el establecimiento del shogunato Tokugawa, Toda Takatsugu fue ascendido de hatamoto a daimio con un estipendio de 10.000 koku, y se le permitió volver al castillo de Tahara, el cual era ahora el centro del recién creado Dominio de Tahara, en 1601. En 1664, su hijo Toda Tadamasa fue transferido al Dominio de Tomioka, en la Provincia de Bungo y se le aumentó el estipendio en 10.000 koku. El Dominio de Tahara se asignó entonces al clan Miyake, que permaneció en él hasta la restauración Meiji.
En 1872, según lo dispuesto por el gobierno Meiji, el castillo de Tahara fue demolido. Con la excepción de algunas porciones de los fosos y las murallas, poco queda del castillo original. Dentro del espacio que ocupó la torre hay un santuario sintoísta dedicado a los ancestros del clan Miyake, y otro dedicado al famoso erudito local Watanabe Kazan, así como el Museo Municipal de Tahara. Cuando este último fue construido se erigieron también una torre (yagura) y una puerta de imitación.
Japón
