Il est le fils de César II de Guastalla, duc de Guastalla, et il est entré très jeune au service de l'Espagne.
Il s'est marié en Espagne en 1646 à María Inés Manrique de Lara (m. 1679), la dixième de la comtesse de Paredes de Nava, créant la branche cadette de "Gonzague-Paredes", éteinte dès la génération suivante avec sa fille, María Luisa Manrique de Lara y Gonzaga (1649-1729), la femme de Tomás de la Cerda, comte de Paredes.
En 1669 , il est devenu le vice-roi de Valence.
En 1678, à la mort de son frère, le duc Ferdinand III de Guastalla sans enfants mâles, Vespasien prétend à la succession au Duché de Guastalla, mais il se heurte à l'opposition de l'impératrice Éléonore de Nevers-Mantoue, la tante du duc de Mantoue Charles III Ferdinand de Mantoue, qui a épousé Anne-Isabelle de Guastalla, la titulaire des droits sur le duché de Guastalla. Ses demandes sont vaines, quand son cousin Vincent Ier de Guastalla épouse Marie-Victoire de Guastalla.
