Contrajo matrimonio con Francisca de Vargas. De este matrimonio tuvo al menos una hija:[2]
- María Gaytán de Vargas, casada con Antonio del Castillo Portocarrero, VI señor de Santa María del Campo, Santiago de la Torre; y II señor de Fermoselle. Antonio era hijo de Antonio del Castillo Portocarrero y de su esposa, Ana de Lara.[3]
Era sobrino de Diego de Vargas, que llegó a ser secretario del Consejo de Italia. A la muerte de este (circa 1577)[4] sucedió a su tío como secretario de ese consejo, aunque por poco tiempo ya que murió en agosto de 1577.[5]
Fue sepultado en la capilla de su patronazgo, bajo la advocación de San Sebastián, en la iglesia del monasterio de San Jerónimo el Real. A decir de Ponz, su sepulcro contaba con una figura orante de Clemente, de rodillas con la siguiente inscripción:[6]
Aquí está sepultado Clemente Gaytan de Vargas, Secretario del Consejo de Italia de Felipe II. Rey de Castilla: falleció á 6 de Agosto de 1577.