A mediados del siglo XIX, el lugar, por entonces perteneciente al municipio de Castraz, figuraba como una dehesa con dos casas. Aparece descrito en el sexto volumen del Diccionario geográfico-estadístico-histórico de España y sus posesiones de Ultramar de Pascual Madoz con las siguientes palabras:
CASTILLEJO DE YELTES: deh. agregada al ayunt. de Castraz, en la prov. de Salamanca, part. jud. y á 4 leg. de Ciudad-Rodrigo. Tiene 2 casas en una altura, por cuyo pie pasa el r. Yeltes en direccion al O., hasta juntarse con el Huebra. Confina N. con Martin del Rio; E. con el mismo y Sepúlveda; S. Santispíritus, y O. la deh. del Collado. El terreno es montuoso y se halla poblado de encina; hay un pedazo reducido á cultivo, y una isla bastante grande, poblada de robles, alisos, fresnos y mucha maleza: en cada uno de los 2 brazos de agua que forman esta isla, existe un puente de piedra, por los cuales pasa la calzada de Salamanca. prod.: trigo, centeno y mucho lino; cria ganado vacuno, lanar y cerdoso. cap. terr. prod.: 981,600 rs. imp.: 33,480.
En 2024, la entidad singular de población de Castillejo de Yeltes, ahora perteneciente al municipio de Martín de Yeltes, no tenía empadronado ningún habitante.[2]