Il mène une carrière d'architecte avec son associé André Biro au sein du cabinet Biro & Fernier qui comptera jusqu'à plus de 50 collaborateurs dans les années 1980 et 1990. Il construit de nombreux ouvrages publics et privés, à Paris, en province et en Polynésie Française avec l’Eglise Maria No Te Hau à Papeete.
Le Club nautique des Settons dans la Nièvre est un exemple des recherches de Biro & Fernier concernant l'intégration de l'architecture dans un site remarquable. Également urbanistes, ils participent à la création des villes nouvelles des années 1970, et travaillent sur de nombreux aménagements de ZAC et d'aménagements de cœurs de ville.
En 1985, au départ de André Biro, Jean-Jacques Fernier crée l’agence Fernier & associés. De 1985 à 2005, il poursuit son activité en développant l’agence qu’il a transmise à sa fille, Laurence Fernier.
Jean-Jacques Fernier devient en 1977, à la suite de son père qui fut l'auteur du catalogue raisonné de l'œuvre de Gustave Courbet et le fondateur du musée Courbet (Ornans, Doubs), «conservateur» à titre bénévole du musée Gustave Courbet, lequel appartient au conseil général du Doubs. Il quitte cette fonction en 2008. Parallèlement, il devient expert international de l'œuvre de Gustave Courbet et donne des avis sur son œuvre jusqu'en 2015, dans la perspective de publier le tome 3 du catalogue raisonné initié par son père. Ce projet n'est pas encore abouti.
En 2001 il transforme l'«Association des amis de Gustave Courbet», à l'origine de la création du Musée d'Ornans et présidé un temps par le peintre Balthus, en «Institut Gustave Courbet - Association des amis de Gustave Courbet et du musée». L'Institut est aujourd'hui présidé par Hervé Novelli[4].
Le , la presse se fait l'écho d'une hypothèse selon laquelle L'Origine du monde, de Courbet, aurait été initialement plus grand, et aurait comporté le visage du modèle[5]. Un collectionneur anonyme aurait acheté à un antiquaire parisien en 2010 un portrait non signé représentant une tête de femme renversée qui, d'après Jean-Jacques Fernier, correspond au reste du tableau de Courbet. Les conservateurs du musée d'Orsay rejettent toutefois cette théorie d'un tableau découpé en deux parties[6], en la qualifiant de «fantaisiste»[7].
