Durante el periodo Heian tardío el área alrededor de Takasaki estuvo controlada por el clan Wada, y Wada Yoshinobu construyó una mansión fortificada en los bancos del río Karasu. Durante el periodo Muromachi, los Wada se pusieron al servicio del clan Uesugi, que tenía el puesto de Kantō kanrei; aun así en 1561, Wada Narishige, indignado porque el puesto se le dio a Uesugi Kenshin, cambió de bando y se puso al servicio del clan Takeda. Su hijo, Wada Nobunari, por su parte, se puso al servicio del clan Odawara Hōjō. Durante la batalla de Odawara en 1590, Toyotomi Hideyoshi envió un ejército dirigido por Uesugi Kagekatsu y Maeda Toshiie y destruyó el castillo Wada.
Después de que Tokugawa Ieyasu se hiciera con el control de la región de Kantō en 1590, asignó a uno de sus generales de mayor confianza, Ii Naomasa, al cercano castillo de Minowa. En 1597, Ieyasu ordenó a Ii Naomasa que construyera un castillo nuevo en el lugar en el que había estado el castillo Wada, dado que desde su ubicación se controlaba la unión de las rutas de Nakasendō y la del Mikuni Kaidō. Ii Naomasu se trasladó a dicho lugar en 1598, rebautizándolo como "Takasaki", y trayendo con él a la población de Minowa para formar el núcleo de una nueva ciudad amurallada. Tras la Batalla de Sekigahara en 1600, el clan Ii fue reubicado a la Provincia de Ōmi, y el castillo de Takasaki fue pasando por las manos de varios clanes de daimios fudai, entre ellos los Sakai, los Andō y varias ramas del clan Matsudaira. Los Ōkōchi Matsudaira fijaron allí su residencia en 1695, y excepto un breve lapso de tiempo entre 1710 y 1717, tuvieron el control del castillo hasta el fin del periodo Edo.
En 1619, Andō Shigenobu empezó un ambicioso proyecto de reconstrucción, que duró 77 años, el cual incluía una torre del homenaje de tres pisos en el centro y una yagura de dos pisos en cada uno de los puntos cardinales. Tokugawa Iemitsu exilió a su hermano más joven, Tokugawa Tadanaga, al castillo de Takasaki en 1633, y le ordenó suicidarse allí en diciembre de ese mismo año.
En 1873, después de la restauración Meiji, la mayoría de las estructuras de castillo fueron destruidas o vendidas, y los fosos fueron rellenados. Antes del fin de la Segunda Guerra Mundial, la mayor parte de los terrenos que habían sido ocupados por el castillo estaban ocupados por el 15.º Regimiento de Infantería del Ejército Imperial Japonés.
El ayuntamiento y la librería municipal de Takasaki se encuentran en lo que fue parte de los terrenos del castillo. De las estructuras que perviven, una de las yagura fue propiedad privada hasta 1974, cuando fue comprada por la ciudad de Takasaki y trasladada a uno de los basamentos de las yagura originales del tercer patio. Una de las puertas supervivientes era propiedad del mismo dueño y fue, igualmente, comprada y recolocada en los terrenos del castillo en 1980. El estudio en el que Tokugawa Tadanaga se suicidó se encuentra hoy en día en los terrenos de un templo budista cercano, el Chōshō-ji, donde se usa como residencia del sacerdote.
Japón
