Gaspard nació en la Parroquia de Avoyelles, Luisiana, Estados Unidos, en 1880, y se volvió parcialmente ciego a la edad de siete años.[2] Muy poco se sabe sobre Gaspard, incluso entre los músicos y aficionados al Cajun donde es a menudo considerado como una figura misteriosa e infravalorada. Sus influencias musicales permanecen desconocidas, aunque se considera que fue su entorno familiar el que lo inició en la música. Formó su primera banda con sus hermanos Victor y Amade, en estilo orquesta de cuerdas, y mientras tanto se ganaba la vida tocando la guitarra y cantando en reuniones sociales. Además de su repertorio de canciones francesas/cajun también cantaba baladas cowboy.[2] Cuando empezó a grabar hacia fines de la década de 1920 lo hizo principalmente como acompañamiento de guitarra para la violinista americano-irlandesa Delma Lachney; fue durante estas sesiones para el sello Vocalion que también registró algunas grabaciones solistas de guitarra y voz, de un estilo suave y melancólico. Gaspard padeció depresión profunda y alcoholismo a lo largo de casi toda su vida, y se cree que permaneció soltero hasta su prematura muerte.
Algunas de sus grabaciones fueron reeditadas en compilaciones de música Cajun hacia el año 2000, y desde entonces su música ha adquirido un estatus de culto entre su pequeño número de seguidores. Cuatro canciones como solista (y algunas de sus apariciones con Lachney) se incluyen en la compilación de Yazoo Early American Cajun Music editada en 1999. Una de ellas, "Sur Le Borde De L'eau", fue incluida en el año 2014 en la banda sonora de la serie televisiva True Detective de HBO, elaborada por el músico y productor T-Bone Burnett, acercando la obra de Gaspard a un público más masivo por primera vez. Esto, sumado a su inclusión en las distintas compilaciones de música Cajun, ha hecho crecer el interés y la importancia de la figura de Gaspard en la historia de la música norteamericana.
No mucho más se sabe sobre Gaspard; mientras vivía, ninguna de sus grabaciones originales se estima que haya vendido más de 100 copias. Gaspard murió en soledad en 1937 y la causa de su muerte permanece desconocida. Su cuerpo está enterrado en el Cementerio Católico Mater Dolorosa, en
Plaucheville, Parroquia de Avoyelle, Luisiana.
