Interprétabilité mécaniste

Le terme d'interprétabilité mécaniste est utilisé pour la première fois par Chris Olah dans une série d’articles de blog rédigés par des chercheurs d’OpenAI entre mars 2020 et avril 2021. Le premier article avait pour objectif de « comprendre les implémentations mécanistes des neurones en termes de leurs poids ». Les chercheurs impliqués dans le fil de discussion « Circuits » quittent l'entreprise pour fonder Anthropic ; leur terminologie s'impose alors^[1].

Au départ, l'interprétabilité mécaniste a été fondée en poursuivant des objectifs techniques bien précis dans le domaine de la vision par ordinateur^[2],[3],[4], mais s'est finalement orientée vers le traitement du langage naturel sans impliquer la communauté existante, qui poursuivait déjà des objectifs similaires^[5],[6].

Le terme d'interprétabilité mécaniste tire son nom des mécanismes causaux. Dans un modèle causal, un mécanisme causal est une fonction transformant un sous-ensemble de variables du modèle — causes — en un autre sous-ensemble — résultats ou effets —. Il constitue donc un élément indispensable de tout modèle causal visant à expliquer un résultat. Au sens technique le plus strict, l'interprétabilité mécaniste cherche à mettre en évidence les mécanismes causaux qui expliquent tout ou partie des modifications de représentations intermédiaires d'un modèle entre l'entrée et la sortie d'un réseau neuronal. Cette définition restrictive de l'interprétabilité mécaniste requiert des méthodes causales de compréhension, mais exclut celles qui n’étudient pas les représentations neuronales intermédiaires, telles que les tests comportementaux avec des paires entrée-sortie. Elle exclut également les méthodes non causales, telles que la description de la structure représentationnelle ou la corrélation des caractéristiques d’activation avec des entrées et des sorties particulières^[7].

La première définition donnée de l'interprétabilité mécaniste date de 2022, dans un article de Nelson Elhage et alii : « tentative de procéder à une ingénierie inverse des calculs détaillés effectués par les [réseaux de neurones], à l'instar d'un programmeur qui tenterait de décomposer des fichiers binaires complexes en code source lisible par l'homme »^[1].

Les réseaux neuronaux artificiels acquièrent leur organisation fonctionnelle par des procédures d'apprentissage automatisées, après lesquelles les composants du système adoptent des rôles spécialisés que les programmeurs ne prévoient généralement pas. Ces composants sont organisés de manière à pouvoir fonctionner ensemble pour produire les comportements observés. La tâche des chercheurs qui cherchent une explication mécaniste consiste à mettre au jour les composants pertinents ainsi que leur organisation. Ces méthodes relèvent donc de épistémologie, cherchant notamment décomposer et localiser une fonction en ensemble de sous-fonctions, afin de la recomposer, c'est-à-dire de reconstruire le système de manière fonctionnellement éclairée^[8].

Chris Olah et son équipe ont classé les neurones des cinq premières couches convolutives du modèle Inception V1 en familles par couche — ou groupes fonctionnels — en fonction des caractéristiques auxquelles ils sont sensibles — filtres de Gabor, contraste de couleurs, ligne, courbe, etc. —^[6]. La spécificité de leur méthode réside dans un programme de recherche cohérent et systématique, mettant en évidence les composants fonctionnels au sein du classificateur et expliquant comment ceux-ci interagissent dans l'architecture fonctionnelle globale du système. Leur méthode impliquent premièrement une recherche systématique des unités fonctionnelles non explicitement codées, deuxièmement une coordination de différentes activités épistémiques afin de révéler les relations entre différentes mesures, et troisièmement un affinage itératif des hypothèses concernant diverses unités fonctionnelles, leurs activités et leurs interactions^[9].