Fils et petit-fils d’organistes rattachés à la tribune de l’orgue de la basilique Saint-Jean-Baptiste de Bastia, Jean Costa reçoit sa première formation musicale au sein de sa famille. Il poursuit ses études dès 1943 à Lyon auprès d’Édouard Commette (organiste de la primatiale Saint Jean et précurseur dans l’enregistrement de la musique pour orgue) où il devient organiste - accompagnateur de la Maîtrise.
En 1945, Jean Costa monte à Paris pour suivre les cours de Maurice Duruflé et Marcel Dupré. Il accède à la classe d’orgue de ce dernier au Conservatoire de Paris pour en sortir en 1949 couronné par un premier prix d’orgue et d’improvisation conjointement à Françoise Renet, Marie-Madeleine Chevalier et Jean Bonfils.
Après avoir été suppléant pendant quelque temps de son maître Marcel Dupré aux grandes orgues de Saint-Sulpice à Paris, Jean Costa est nommé en 1952 organiste titulaire des grandes orgues Cavaillé-Coll de l’église Saint-Vincent-de-Paul à Paris, poste qu'il occupera jusqu’en 1997.
Pédagogue recherché, Jean Costa fut professeur d’orgue au conservatoire de Nantes de 1953 à 1970 et se vit confier en 1971 la classe d’orgue du Conservatoire Darius Milhaud d’Aix-en-Provence d’où sortiront de nombreux élèves tels que Jean-Pierre Lecaudey, Gilles Harlé ou encore Chantal de Zeeuw qui prit sa succession à ce poste en 1992.
Concertiste de renommée internationale, invité des principaux festivals d’orgue, Jean Costa a donné plus de mille récitals en France, dans tous les pays d’Europe, en URSS et en Amérique, où il aborde tout le répertoire et l’improvisation, discipline où il excelle.