Nacido en Ocumare del Tuy, no existe seguridad de que este hecho haya acaecido en 1773 o en 1774. En 1785 ya se encontraba en Caracas y, un año después, tras la muerte de su madre, Juan Manuel Olivares se lo llevó a su casa para enseñarle música y tenerlo bajo su cuidado. Con él vivió al menos hasta 1792.
Gallardo fue muy celebrado en su tiempo como ejecutante del violín, violonchelo y el contrabajo. Fundó, en 1818, una academia de música y una sociedad filarmónica que llegó a ofrecer al menos diez conciertos entre los años 1819 y 1820. En 1821 dio clases de música en un establecimiento privado donde, además, dictaba Juan Lovera la cátedra de pintura. Fue director de orquesta ofreciendo conciertos y bailes de acuerdo con el carácter de las celebraciones.
Estuvo muy ligado a las actividades políticas de la gesta independentista. Gallardo y el músico Carlos Alba fueron identificados, en una carta delatora enviada a las autoridades de la monarquía española, como participantes bastante involucrados en los sucesos del 19 de abril de 1810. Su nombre apareció en la auto ría de la canción de la época "Caraqueños, otra época empieza" cuya letra sería de Andrés Bello. Poco menos de un año más tarde, apareció impreso el poema patriótico llamado "Canción Americana" al que Gallardo le puso música. Años más tarde escribió "Tu nombre, Bolívar, la fama elevó".
En algunos documentos puede verificarse también el aprecio y admiración que sentía el Libertador Simón Bolívar por este creador, a quien trataba como un compadre dado que su hija, María Josefina, era ahijada de don Juan Vicente Bolívar. En 1824 Gallardo fue nombrado maestro mayor de música de la Catedral de Caracas. En 1826 se trasladó a La Guaira. Allí se desempeñó como funcionario aduanal y asistiendo en la música de la cofradía del Rosario. Vivió en La Guaira los últimos años de su vida aunque su muerte acaeció en Caracas el 22 de diciembre de 1837.
