Situado en un claro enclave fronterizo con el Reino de Portugal, el castillo es un vestigio de las disputas entre ambos países por el dominio del territorio.
Según las crónicas fue levantado en el siglo XIII por el rey portugués Don Dinis quién también levantaría las murallas defensivas de la villa. En cualquier caso, adoptó su forma definitiva en el siglo XV.
Los problemas con la ubicación de la raya continuaron en el siglo XIV entre el Rey Dionisio y su yerno, el rey Fernando IV de Castilla. Se decidió que San Felices retornara a la Corona de Castilla, pues a ésta había pertenecido durante más de 100 años seguidos. Además, la celebración del matrimonio entre María de Portugal y el nuevo rey castellano Alfonso XI propició el entendimiento entre ambas familias.
En 1374 se instalaron en el castillo de San Felices Beatriz de Portugal y Leonor, viuda e hija respectivamente de Sancho de Castilla, con toda su corte. La proximidad de San Felices a la frontera permitía a las princesas mantener el contacto con ambas partes de su familia.
El castillo siguió en uso durante los siglos XVII y XVIII, ya que se instalaron las tropas durante la guerra que sublevó a Portugal contra Felipe IV y 100 años después durante la Guerra de Sucesión.[2]
A lo largo del siglo XIX entró en un estado de abandono paulatino y cierto deterioro. Si bien en la segunda mitad del siglo XX se reforma en varias ocasiones para conservar mejor su estructura. A día de hoy logra un estado de conservación muy óptimo y se ha instalado un museo en su interior.