Parmi les compositions que son plus jeune contemporain Felix Mendelssohn admire lorsqu'ils se rencontrent à Édimbourg durant l'été 1829, figure un trio pour piano de 1826 dans lequel des passages orageux parfois farouches sont mélangés de chaleur schubertienne. Un autre morceau admiré par Mendelssohn est son rondo animé de 1828. Ils deviennent amis et Fanny Mendelssohn dit qu'elle aime Thomson « plus que tous les Britanniques que je connais ». Le trio en do majeur de Thomson est décrit comme un excellent travail.
Il étudie en Allemagne avec une lettre d'introduction à la famille Mendelssohn et ses Drei Lieder sont publiés à Leipzig en 1838. John Purser affirme que nous devons nous tourner vers Schumann pour trouver quelque chose de comparable à ces lieder publiés deux ans avant que Schumann ne compose des lieder dans son style mature. Le premier lied, Keiner von den Schönheit Töchtern, est écrit à partir du poème There be none of beauty's daughters de Byron, adapté en allemand par Thomson pour s'accorder aux autres lieder.
Thomson est élu premier professeur Reid de musique à l'université d'Édimbourg en 1838. En tant que musicologue, il édite les Vocal Melodies of Scotland et il est l'un des premiers chefs d'orchestre à proposer à son public un programme de ses concerts donnant une analyse critique des œuvres exécutées. Parmi ses autres compositions figurent une plaisante bagatelle pour piano solo, un Glee With Whispering Winds en six parties, trois opéras, un concerto et un quatuor pour flûtes et des airs de concert. Sa carrière est malheureusement écourtée par sa mort en 1841.
Par la suite, son œuvre est peu exécutée mais on note un récent regain d’intérêt pour ses compositions présentées dans la série Scotland's Music de John Purser et un groupe de villageois de Kelso a organisé un festival du bicentenaire en 2005. Des partitions de certaines des compositions de John Thomson, dont le trio en sol mineur avec piano et quatuor de flûtes ont été mises gratuitement à disposition sur le site Sibelius Music. Certaines partitions sont également ajoutées au International Music Score Library Project . Un enregistrement de l'ouverture de son troisième opéra, Hermann, or the broken spear, se trouve ici
