Nick Bostrom

Né sous le nom de Niklas Boström en 1973^[3] à Helsingborg en Suède, il a une aversion pour l'école dès son jeune âge^[4] et a passé sa dernière année de lycée à étudier chez lui^[5].

Il a été diplômé en physique, philosophie et en neurosciences computationelles. En 2000, il obtient un doctorat en philosophie^[6].

En 2002, Nick Bostrom définit le concept de risque existentiel comme un risque d'annihilation de la vie intelligente venant de la Terre ou de perte drastique et irréversible de son potentiel^[7],[8].

En 2005, il fonde l'Institut pour le Futur de l'Humanité (Future of Humanity Institute) de l'université d'Oxford, et en a été le directeur^[9], jusqu'à ce qu'en 2024 l'institut soit dissous, pour cause d'obstacles administratifs croissants^[10]. Il est depuis chercheur principal à Macrostrategy Research Initiative^[2] et conseiller pour le Centre pour l'étude des risques existentiels^[11].

En 2008, il publie le livre Global Catastrophic Risks, où il redéfinit, plus largement, la notion de catastrophe planétaire, y incluant celle de catastrophe existentielle, est un type particulièrement grave et permanent de catastrophe planétaire^[12].

Dès 2020 (deux ans avant la popularisation de l'IA générative avec ChatGPT), explorant les enjeux éthiques liés à l’émergence de possibles consciences artificielles, il montre que nos intuitions morales et nos institutions pourraient être inadaptées aux nouvelles entités que seraient les esprits numériques. Qu'ils soient produits en masse ou uniques, ceux-ci pourraient être dotés d’un statut moral supérieur, justifiant qu'ils puissent revendiquer des droits et des ressources avec une intensité bien supérieure à celle des humains, posant des risques majeurs si leurs intérêts sont ignorés ou mal compris. Bostrom appelle à une réforme anticipée de nos normes morales et de nos institutions afin d'encadrer la création de ces esprits artificiels, et éviter des catastrophes éthiques^[13].

En 2024, il estime que l'arrivée d'une superintelligence pourrait - éventuellement - survenir dans les 2 à 3 ans, sans même que l'on s'en aperçoive, si l'IA s'améliore elle-même à un rythme accéléré, menant à une singularité technologique, ce qui est un scénario bien plus plausible qu'il ne l'était quelques années plus tôt (un simple déblocage pouvant conférer une efficacité d'apprentissage comparable à celle de l'humain à de vastes centres de données)^{[réf. nécessaire]}. D'autres prospectivistes du domaine invitent à considérer ses scénarios associant l'émergence d'une quête de pouvoir chez une IA ayant passé le seuil de la singularité, comme plausibles et dignes d’attention^[14].

Dans son livre Superintelligence : chemins, dangers, stratégies publié en 2014, Bostrom argumente qu'il est possible de créer des superintelligences, et explore les différents types de superintelligences, leurs motivations, et les risques associés^[20]. Il définit une superintelligence comme « un système qui surpasse largement tous les individus humains dans tous les domaines cognitifs »^[21]. Selon lui, ces superintelligences permettraient des avantages sociétaux importants, et posent en même temps un risque existentiel significatif pour l’humanité^[20].

Bostrom fait une distinction importante entre objectif final et objectif instrumental. Pour un agent intelligent, un objectif final a une valeur là où un objectif instrumental n'est utile que comme un moyen d'accomplir des objectifs finaux. Bostrom introduit le concept de convergence instrumentale, qui suggère que certains objectifs instrumentaux (tels que le fait de préserver son intégrité physique ou d'acquérir plus de ressources) sont utiles pour accomplir un grand nombre d'objectifs finaux. Il introduit aussi la thèse d'orthogonalité, qui est l'idée que tout niveau d'intelligence puisse en théorie être combiné avec pratiquement n'importe quel objectif final. Il illustre ces deux principes avec l'expérience de pensée du maximiseur de trombones, une superintelligence ayant l'objectif final absurde de créer autant de trombones que possible^[22] :

« Supposons que nous ayons une IA dont l'unique but soit de faire autant de trombones que possible. L'IA se rendra vite compte que ce serait bien mieux s'il n'y avait pas d'humains, parce que les humains pourraient décider de l'éteindre. Parce que si les humains le faisaient, il y aurait moins de trombones. De plus, le corps humain contient beaucoup d'atomes qui pourraient être transformés en trombones. L'avenir vers lequel l'IA essaierait de se diriger serait un futur avec beaucoup de trombones mais aucun humain. »

— Nick Bostrom^[23]

Bostrom considère que chercher à maîtriser une superintelligence n'est pas une solution viable, et qu'il faut aligner la superintelligence avec des valeurs morales de sorte qu'elle soit « fondamentalement de notre côté »^[24]. Il écrit aussi que la superintelligence pourrait être un atout dans la réduction d'autres risques existentiels, comme celui lié aux nanotechnologies, et pourrait gagner à être développée avant^[25]. Et il estime que les machines superintelligentes pourraient radicalement améliorer le monde, par exemple dans la lutte contre le vieillissement, la maladie et la pauvreté ou en facilitant les voyages spatiaux^[21].

Bostrom met aussi en garde contre d'autres catégories de risque existentiel liés à l'IA, tels que le risque pour que des humains l'utilisent à des fins destructrices, ou au risque pour que l'humanité échoue à tenir compte du statut moral qu'auraient des IAs sentientes^[26].

En 1998, Bostrom fonde avec David Pearce la World Transhumanist Association^[3] (depuis renommé Humanity+) et en 2004 il fonde avec James Hughes l'Institut d'Éthique pour les Technologies Émergentes (Institute for Ethics and Emerging Technologies)^[27].

Il publie en 2005 la Fable du Dragon Tyran^[28], qui personnifie la mort sous la forme d'un dragon qui demande tous les jours des sacrifices humains. Cette fable dresse une analogie entre le fait de tuer le dragon et le fait d'adopter des techniques potentiellement accessibles dans le futur pour contrer le vieillissement^[29]. Elle critique une attitude de rationalisation de la mort, le but étant que les arguments soutenant cette acceptation de la mort semblent moins rationnels quand il s'agit d'accepter que des humains soient mangés par le dragon.

Avec le philosophe Toby Ord, il propose en 2006 le test de l'inversion^[30]. Selon lui, si une action est jugée comme mauvaise mais que l'action inverse est aussi jugée mauvaise, cela met généralement en évidence un biais du status quo^[31]. Il prend pour exemple l'augmentation de l'intelligence, comparant le fait d'augmenter et de réduire l'intelligence humaine (en faisant l'hypothèse que le coût et les risques médicaux de l'opération soient négligeables)^[30].

En janvier 2023, Nick Bostrom a présenté des excuses pour un courriel envoyé en 1996 sur une liste de diffusion, alors qu’il était étudiant de troisième cycle, dans lequel il déclarait penser que « les Noirs sont plus stupides que les Blancs ». Dans ses excuses, publiées sur son site web, il a regretté « ce courriel dégoûtant ».

Bostrom soutient le principe d'indépendance du substrat, qui suggère que la sentience puisse émerger sur divers types de substrats physiques, et pas uniquement sur des « réseaux de neurones biologiques à base de carbone » comme dans le cerveau^[32]. Il considère qu'il y a différents degrés de sentience^[33], et qu'il est possible en théorie de concevoir des consciences artificielles dont le rythme et l'intensité de l'expérience subjective seraient bien plus élevés que chez l'humain, tout en consommant relativement peu de ressources. Ces machines particulièrement sentientes, qu'il appelle des « super-bénéficiaires », pourraient être extrêmement efficaces pour ressentir du bonheur. Il recommande de chercher un cadre politique et éthique nous permettant de coexister avec ces consciences artificielles de manière mutuellement bénéfique^[34].

Bostrom a publié de nombreux articles sur le raisonnement anthropique, ainsi que le livre Anthropic Bias: Observation Selection Effects in Science and Philosophy, où il critique les précédentes formulations du principe anthropique. Il introduit un nouveau cadre pour analyser ce que la présence d'un observateur conscient permet d'apprendre sur le monde^[35].

Il a par la suite mis en avant la notion d'ombre anthropique (anthropic shadow), un biais de sélection de l'observateur qui pousse à sous-estimer les risques de catastrophes suffisamment graves pour ne laisser aucun observateur, puisque dans ce cas il ne reste personne pour savoir que ça s'est produit^[36].

Bostrom suggère qu'une politique technologique de réduction des risques existentiels devrait chercher à influencer l'ordre dans lequel arrivent ces technologies. Bostrom a proposé le principe de développement technologique différentiel, qui consiste à accélérer le développement de technologies bénéfiques, principalement celles réduisant les risques existentiels, et à retarder le développement de technologies dangereuses, principalement celles augmentant les risques existentiels^[8].

Bostrom a introduit le concept de malédiction de l'unilatéraliste (unilateralist's curse), qui fait que si une action néfaste peut être accomplie par un grand nombre d'agents bien intentionnés, le fait que ces agents agissent selon leur propre jugement augmente le risque que cette action soit accomplie^[39].

Dans son livre Deep Utopia: Life and Meaning in a Solved World publié en 2024, Bostrom explore le concept de vie idéale, dans un monde où l'humanité aurait accompli avec succès la transition vers un monde post-superintelligence. Bostrom remarque que la question n’est « pas de savoir à quel point un futur est intéressant à observer, mais dans quelle mesure il est bon d’y vivre ». Il décrit certaines technologies qu’il considère physiquement possibles en théorie et disponibles à maturité technologique, telles que l’amélioration cognitive, l’inversion du vieillissement, des entrées sensorielles arbitraires (goût, son...), ou le contrôle précis de la motivation, de l’humeur, du bien-être et de la personnalité. Selon lui, non seulement les machines seraient meilleures que les humains pour travailler, rendant le travail humain superflu, mais de nombreuses activités de loisir perdraient aussi leur raison d'être. Il indique ainsi qu'une telle utopie offrirait un bien-être extrême tout en remettant en question la quête de sens^[40],[41].