Il commence le piano à l'âge de neuf ans avec pour inspirations Little Richard ou encore Ray Charles, avant de s'orienter à 15 ans vers la guitare sous l'influence d'idoles tels que Buddy Holly, Elvis Presley. Il perfectionnera son style et deviendra un spécialiste de la guitare slide.
Il se marie en 1966, à l'âge de 18 ans avec sa compagne de l'époque, Fiona, alors âgée de 15 ans.
Il rejoindra Fleetwood Mac en 1967 après avoir été repéré par Mike Vernon lors d'une prestation avec le groupe The Levi Set Blues Band créé par Spencer peu de temps après avoir appris la guitare; contacté par la suite par Peter Green, époustouflé par sa slide guitare à la suite d'un enregistrement que lui a fourni Mike Vernon. C'est pendant ses années avec Fleetwood Mac qu'il découvrira sa plus grande source d'inspiration: Elmore James, et en fera un pilier de son style musical ainsi que de celle du groupe car il fera nombre de reprises de l'artiste. Il sera rejoint peu de temps après son arrivée par Daniel Kirwan, formant alors un trio de guitaristes au sein d'un seul groupe; ce qui n'enchantera pas Spencer, ayant la sensation d'être mis sur la touche par les deux guitaristes lead.
D'un tempérament retenu et discret au quotidien, il sera sur scène le parfait opposé de ce personnage si paisible. Allant d'imitations réussies prisées par le public jusqu'à de sombres blagues douteuses consistant à tenir des propos obscènes à son auditoire ou encore à remplir des préservatifs de bière alors suspendus au manche de sa guitare avant de les envoyer dans la foule. Un caractère paradoxal pour un homme si attaché à la religion chrétienne qu'il a été jusqu'à faire coudre la Bible dans l’intérieur de son manteau. Comportement que le groupe encouragera dans les premières heures, contrastant avec les règles de John Mayall (The Bluesbreakers) alors jugées trop sérieuses par ses anciens musiciens au sein du Mac.
Jeremy Spencer quitte Fleetwood Mac en pour rejoindre la secte des «Enfants de Dieu» (Children of God), dont il est toujours membre aujourd'hui, alors qu'il était en pleine tournée avec le groupe (ces derniers lançant des appels à témoins et des avis de recherche à la suite de sa disparition). Il sera rejoint par Fiona ainsi que ses enfants. Il a également publié quelques albums solos après son départ de Fleetwood Mac, relatant en majorité la religion.
