Fue construido a principios del siglo XII por Ranulf de Gernon, cuarto conde de Chester.[2] Su primer uso conocido fue durante la Anarquía, cuando Robert Marmion, partidario del rey Esteban, expulsó a los monjes del priorato adyacente de Santa María y lo convirtió en una fortaleza desde la que libró una batalla contra el conde. Marmion pereció en la batalla.
En 1147, los leales al rey se replegaron a sus defensas durante un asedio de Ranulf de Gernon, mientras intentaba reconquistar el castillo después de haberlo entregado a Esteban. Esto se debió a que mientras era capturado por el rey en 1146 se le obligó a entregar sus castillos, aunque sólo cedió un número de los cuales Coventry era uno.[3] Después de que se levantara el asedio, el rey destruyó el castillo; sin embargo, probablemente fue reparado más tarde ya que fue descrito como una fortificación viable en 1182.[1]
En noviembre de 1569, María I de Escocia, fue detenida en la llamada Torre del César, formando parte del St Mary's Guildhall, construido sobre los cimientos del anterior castillo.[4] La habitación en la que fue detenida es discutida. En un principio se pensó en una habitación de la torre apodada como la monarca escocesa, debido a su aspecto de celda, pero es probable que fuera retenida en el llamado "Old Mayoress's Parlour".[4]
En la actualidad, la Torre del César, que se cree que es lo único que queda del castillo, sigue existiendo como parte del St Mary's Guildhall. Fue reconstruida tras los bombardeos de la Segunda Guerra Mundial.[5] En la planta inferior de la torre se encuentra "el Tesoro", y encima está lo que se conoce (aunque, se cree que es incorrecto) como la "sala de María Reina de Escocia".
El centro comercial Cathedral Lanes se construyó sobre parte del castillo.[6]
