人工知能の倫理

ロボット倫理

ロボット倫理（英: robot ethics, or roboethics）という言葉は、人間がロボットをどのように設計し、構築し、使用し、扱うかという道徳を意味する^[2]。ロボット倫理はAIの倫理とも重なっている。ロボットは物理的な機械であるのに対し、AIはソフトウェアにすぎない^[3]。すべてのロボットがAIシステムによって機能するわけではなく、またすべてのAIシステムがロボットであるとも限らない。ロボット倫理は、機械が人間に危害を加えたり利益をもたらすか、個人の自律性に与える影響、社会正義への影響などについて考える。

機械倫理

機械倫理（英: machine ethics）または機械道徳（英: machine morality）とは、道徳的あるいは道徳的であるかのようにふるまうロボット、人工知能を持つコンピュータ、人工道徳エージェント（英語版）（Artificial Moral Agents、AMA）の設計に関わる研究分野である^[4][5][6][7]。これらのエージェントの性質を説明するために、AMAの概念に関連するエージェンシー（英語版）の標準的な特徴、合理的エージェンシー（英語版）、道徳的エージェンシー（英語版）、人工的エージェンシーのような特定の哲学的概念を考慮することが提案されている^[8]。

1950年代、アイザック・アシモフは、著書「I, Robot（われはロボット）」でこのテーマを考察した。編集者のジョン・W・キャンベル・ジュニアの勧めで、彼は人工知能システムが従うべき「ロボット工学の三原則」を提案した。その後、彼の研究の多くは、3つの原則がどこで破綻し、どこで逆説的な行動や予期しない行動を起こすか、その境界を検証することに費やされた。彼の研究は、固定された法則の集まりでは、起こりうるすべての状況を十分に予測することができないことを示唆している^[9]。最近では、学者や多くの政府が、AI自体に説明責任があるという考えに対して疑問を呈している^[10]。2010年に英国で開催された研究会では、アシモフの原則を改訂し、AIはその製造者または所有者／操作者のいずれかの責任であることを明確にした^[11]。

2009年、スイス連邦工科大学ローザンヌ校の知能システム研究所で行われた実験では、相互に協力するようにプログラムされたロボット（有利な資源を捜し出し、不利な資源を回避する）が、有利な資源を貯め込もうと嘘をつくことを学習したことが明らかになった^[12]。

専門家や学者の中には、軍事戦闘でロボットを使用すること、特にそのようなロボットにある程度の自律性を持たせることに疑問を呈する人もいる^[13]。米海軍は、軍事用ロボットがより複雑になるにつれ、その自律的な意思決定能力がもたらす影響により注意を払うべきとする報告書に資金を提供した^[14][15]。アメリカ人工知能学会の会長は、この問題を調査するための調査を委託した^[16]。彼らは、人間との対話を模擬できる「言語習得装置（Language Acquisition Device）」のようなプログラムを指摘している。

ヴァーナー・ヴィンジは、あるコンピューターが人間よりも賢くなる瞬間が来るかもしれないと示唆している。彼はこれを「シンギュラリティ（特異点）」と呼び^[17]、それが人間にとって多少なりとも、あるいは非常に危険なものとなる可能性があると示唆している^[18]。これはシンギュラリタリアニズムと呼ばれる哲学によって議論されている。機械知能研究所（MIRI）は、「友好的な人工知能（Friendly AI）」を構築する必要性を提唱している。これは、AIがすでに進化していることに加え、AIを本質的に友好的かつ人道的にする努力をするべきという意味である^[19]。

AIが倫理的な判断（英語版）を下せるかどうかを確認するためのテストを作成することも議論されている。アラン・ウィンフィールドは、チューリング・テストには欠陥があり、AIがテストに合格するための要件が低すぎると結論付けている^[20]。代替として提案されているテストは、AIの判断が倫理的か非倫理的かを複数の判定者が判断することで現在のテストを改善する「倫理的チューリングテスト」と呼ばれるものである^[20]。

2009年、アメリカ人工知能学会が主催する会議に学者や技術者が集まり、ロボットやコンピュータが自給自足して自立的に判断できるようになるという可能性を仮定した場合の潜在的な影響について議論した。彼らは、コンピュータやロボットが何らかの自律性を獲得する可能性やその度合い、また、そうした能力を使用して脅威や危険をもたらす可能性の程度について議論を重ねた。彼らは、いくつかの機械がさまざまな形の半自律性を獲得していることを指摘し、その中には自力で電源を探したり、武器で攻撃する標的を選択する能力も含まれている。また、コンピューターウイルスの中には駆除を回避して「ゴキブリの知能」を獲得しているものがあることにも言及された。彼らは、サイエンス・フィクション（SF）で描かれているような自己認識はおそらくあり得ないが、その他にも潜在的な危険や落とし穴があることに着目した^[17]。

しかし、道徳的な能力を持つロボットを実現する可能性のある、一つの技術が存在する。ネイエフ・アル=ローダン（英語版）は、ロボットによる道徳的価値の獲得に関する論文で、ニューロモルフィック・チップの事例について言及している。ニューロモルフィック・チップは、数百万もの人工ニューロンを相互に接続して、人間のように非線形な情報処理をすることを目的としている^[21]。ニューロモルフィック技術を組み込んだロボットは、独自に人間らしい方法で学習し、知識を身につけることができる。必然的に、このようなロボットがどのような環境で世の中について学び、誰の道徳感を受け継ぐのかや、あるいは利己心、生存志向の態度、迷いなど、人間の「弱点」も習得してしまうかどうかという問題を提起する。

ウェンデル・ワラック（英語版）とコリン・アレンは、著書「Moral Machines: Teaching Robots Right from Wrong（ロボットに倫理を教える：モラルマシーン）」において^[22]、ロボットに善と悪を教える試みは、人が現代の規範理論のギャップに取り組む動機付けとなり、実験的調査の基盤を提供することによって、人の倫理感の理解を深めることになるだろうと結論付けている。その一例として、機械にどのような学習アルゴリズム（英語版）を使用するかという論争的な課題を、規範倫理学者に提示した。ニック・ボストロムとエリーザー・ユドコウスキー（英語版）は、透明性と予測可能性という現代の社会規範（先例拘束力の原則など）に従うという理由で、ニューラルネットワークや遺伝的アルゴリズムよりも（ID3のような）決定木が好ましいと主張した^[23]。一方、クリス・サントス=ラングは、どのような時代でも規範が変化することを許さなければならず、特定の規範を完全に準拠しないことで人間が犯罪的「ハッカー」に対して脆弱になることを助けるだろうとして、反対の方向を主張した^[24]。

オックスフォード大学のAIガバナンスセンター^{[注釈 1]}による2019年の報告書によると、アメリカ人の82%が、ロボットやAIは慎重に管理されるべきと考えている。懸念事項として挙げられているのは、AIが監視にどのように利用されるかや、オンライン上での偽コンテンツの拡散^{[注釈 2]}から、サイバー攻撃、データプライバシーの侵害、雇用偏重（英語版）、自動運転車、人間による制御を必要としない無人航空機まで多岐に及んだ^[25]。

人工知能の倫理原則

AIに関する84の倫理指針のレビューでは^[26]、透明性、正義と公正、無危害、責任、プライバシー、善行、自由と自律、信頼、持続可能性、尊厳、連帯という11の原則群が見いだされた^[26]。

ルチアーノ・フロリディとジョシュ・カウルズは、生命倫理の4原則（与益（善行）、無加害、自主尊重、正義）と、追加のAI実現原則（説明可能性）によって設定されたAI原則の倫理的枠組みを作成した^[27]。

AIシステムにおけるバイアス

顔認識システムや音声認識システムなどにAIが組み込まれることが進んでいる。これらのシステムの中には、実際の業務用途に使用され、人々に直接影響を与えるものもある。これらのシステムは、製造者である人間によってもたらされたバイアス（偏り、偏見）やエラー（誤り）に対して脆弱である。また、これらのAIシステムを訓練するために使用されるデータ自体にもバイアスが含まれている可能性がある^{[41][42][43][44]}。たとえば、マイクロソフト、IBM、Face++の顔認識アルゴリズムは、いずれも人の性別を識別する際に偏りがあり^[45]、白人の男性の性別を肌の色が濃い男性よりも正確に検出することができた。さらに、2020年の研究によると、アマゾン、アップル、グーグル、IBM、マイクロソフトの音声認識システムの調査では、白人の声よりも黒人の声を書き起こすときのエラー率が高いことがわかった^[46]。さらに、アマゾンは、アルゴリズムが女性よりも男性の候補者を優遇したため、採用や募集にAIを利用（英語版）することをやめた。これは、アマゾンのシステムが、10年以上にわたって収集された主に男性の候補者からのデータで訓練されていたためである^[47]。

バイアスは、さまざまな方法でアルゴリズムに忍び込む可能性がある。AIシステムにバイアスが入り込む仕組みとして最も有力なのは、システムを訓練するために使用する過去のデータ中にバイアスが埋め込まれていることである。たとえば、アマゾンのAIを用いた採用ツールは、何年にもわたって蓄積された自社の採用データで訓練したもので、その間、無事に採用された候補者のほとんどは白人男性であった。その結果、アルゴリズムは過去のデータから（偏った）パターンを学習し、このような種類の候補者が採用される可能性が高いという現在や未来の予測をたてた。そのため、AIシステムによる採用判断が、女性やマイノリティの候補者に対して偏っていることが判明した。フリードマンとニッセンバウムは、コンピュータシステムにおけるバイアスを、既存バイアス（existing bias）、技術的バイアス（technical bias）、創発的バイアス（emergent bias）の3つに分類している^[48]。自然言語処理では、アルゴリズムが異なる単語間の関係を学習するために使用するテキストコーパスに問題が起こることがある^[49]。

IBMやグーグルなどの大企業は、このようなバイアスを研究し対処する努力を重ねてきた^[50][51][52]。バイアスに対処するための一つの解決策は、AIシステムの訓練に使用するデータのドキュメントを作成することである^[53][54]。プロセスマイニングは、エラーの特定、プロセスの監視、不適切な実行の潜在的な根本原因の特定、その他の機能により、組織がAI規制の提案の遵守を達成するための重要なツールとなりうる^[55]。

機械学習におけるバイアスの問題は、この技術が医療や法律などの重要な分野に普及し、深い技術的な理解を持たない多くの人が導入を任されるにつれて、より重要な意味を持つ可能性がある。一部の専門家は、アルゴリズムによるバイアスはすでに多くの業界に蔓延しており、それを特定し修正しようとする取り組みはほとんどなされていないと警告している^[56]。偏ったAIに対する意識を高めることを目的とした、市民団体によるオープンソースのツールも登場している^[57]。

用語

この問題を理解するうえで、いくつかの用語が鍵となる。

• クローラー（ボット）とは、ウェブページを機械的に巡回してその内容を取得する自動プログラムである。検索エンジンは索引作成のために古くからこれを用いてきたが、新たに問題となっているのは、AIモデルの学習用にデータを収集するクローラーである^[59]。
• robots.txt とは、1994年以降用いられている慣行で、サイトの最上位に置かれ、クローラーに対しどの領域を巡回してよいか（あるいはいけないか）を伝えるテキストファイルである。ただしこれは技術的な障壁ではなく「要請」にすぎず、従うか否かはクローラーの設計次第であって、一部のAIクローラーはこれを無視する^[59]。
• CDN（コンテンツ・デリバリー・ネットワーク）とは、ウェブサイトと訪問者の間に立ち、世界各地のサーバーからコンテンツを配信して表示を高速化し、攻撃から保護するサービスである。大規模なCDNはウェブトラフィックの相当部分を扱うため、インターネット全体における人間と自動アクセスの比率を測定できる。Cloudflareはその最大手の一つで、同社によればウェブトラフィックの約5分の1を扱っており、その測定値が広く引用される理由となっている^[60]。

ウェブサイトへの負荷

大規模なクローリングが、巡回されるウェブサイトに与える負荷は2025年に具体的な問題となった。ウィキメディア財団は同年4月、ウィキメディア・コモンズのマルチメディアコンテンツのダウンロードに用いられる帯域幅が2024年初頭以降約50パーセント増加し、その大半が人間の読者ではなく、AIモデルの学習用データを収集する自動プログラムによるものだと報告した^[61]。同財団によれば、最も負荷の高いトラフィックの少なくとも65パーセントがボットによるもので、これはボットによるページ閲覧が全体の約35パーセントであることに比して不均衡に大きい。人間の読者が特定の話題に集中するのに対し、クローラーはあまり閲覧されないページも含めて一括で読み込むため、より多くの計算資源を消費するとされる^[61]。同財団は、コンテンツは無料であってもインフラは無料ではないと述べた。これらの事業は寄付によって運営されているため、クローラーへの対応コストは、データの恩恵を受けるAI開発企業ではなく、非営利のプロジェクト側が負担することになる^[58]。

日本でも同様の問題が報じられており、日経クロステックは、AIクローラーによるアクセスがサイトを事実上のDDoS状態に陥らせる事例や、これに対抗してクローラーを検知・遮断する技術が相次いで登場していることを伝えている。同記事は、一部のAI開発企業が自らの素性を示す「ユーザー・エージェント」の文字列を偽り、人間のアクセスを装う例や、データ収集を外部の専門企業に委託する例があると指摘している^[59]。

ボットが人間を上回る

自動トラフィックの規模は、2026年に象徴的な水準に達した。Cloudflareは2026年6月3日、同社の測定によれば、ウェブページへのリクエストにおいて自動的な「ボット」によるものが史上初めて人間によるものを上回った（約57パーセント対約42パーセント）と報告し、これを主にAI関連の活動の急増によるものとした。この転換点は同社自身の以前の予測よりも早く訪れたという^[60][62]。ただしこの数値は解釈に注意を要する。これはCloudflareのネットワーク上でのウェブページへの「リクエスト」の割合を示すものであって、オンライン上の実際の人数や滞在時間、あるいはインターネット全体の活動を示すものではなく、測定方法が異なれば結果も異なる^[62]。より争いが少ないのはその傾向と背景で、Cloudflareは、AIクローラーのリクエストの約半分が、利用者の質問に答えるためではなくモデルの学習用データを収集するためのものであり、この種のトラフィックは訪問者を元のサイトへ送り返す仕組みを持たないとしている^[60]。

「ウェブの閉鎖化」

この不均衡に直面し、多くのウェブサイトは、それまで開放してきたアクセスを制限し始めた。オープンウェブが「閉じて」いく動きとして論じられている^[59]。

• RedditやStack Overflowなど、データを自由に利用させてきたプラットフォームは、大量のデータを取得するための接続口であるAPIの有料化に踏み切った^[58]。
• Cloudflareは2025年7月、新規サイトについてAIクローラーを既定で遮断する方針に切り替え（従来はサイト運営者が個別に拒否設定する必要があった）、さらにサイト運営者がAIクローラーにアクセスごとに課金できる「ペイ・パー・クロール（pay-per-crawl）」を導入した。この仕組みは、長く使われていなかったHTTPステータスコード「402（支払いが必要）」を転用したものである^[63]。
• 一部のAI開発企業は、スクレイピングに代えて、出版社との有償契約によってデータをライセンス取得する対応をとった^[64]。

こうした動きの象徴的な例が、非営利のインターネットアーカイブをめぐる事態である。ニューヨーク・タイムズやガーディアン、Redditなどの媒体は、2025年から2026年にかけて、AI企業がインターネットアーカイブのウェイバックマシンを経由して自社コンテンツを収集していることを理由に、同アーカイブのクローラーへのアクセスを制限し始めた。ウェブの保存という公共的使命を持つ非営利団体が、皮肉にもコンテンツ流出の経路とみなされたのである^[65]。

これらの動きが提起する懸念は、長らく「開かれた知」（オープンナレッジ）の共有財として自由に利用されてきたコンテンツが、次第に囲い込まれ、ゲートを設けられ、あるいは有料化されつつあり、公開されたページは自由に読まれるものだというオープンなウェブ(オープンウェブ)の前提が揺らいでいるという点である。その影響は、自由な共有に依存しながら同時に大量に巡回される非営利の知識プロジェクト - とりわけ、自由なライセンスのコンテンツが最も需要の高い学習データの一つであるウィキペディア自身 - に、とりわけ重くのしかかる^[65][61]。

ロボットの権利

ロボットの権利（英: robot rights）とは、人の人権や動物の権利と同様に、人が機械に対して道徳的な義務を負うべきだという概念である^[66]。ロボットの権利（例：ロボットが生存し、自らの使命を遂行する権利）は、人権と社会に対する義務を結びつけるのと同様に、人類に奉仕するロボットの義務に結びつけることができると提案されている^[67]。たとえば、生存と自由の権利、思想と表現の自由、法の下の平等^{[注釈 5]}が含まれる可能性がある^[68]。この問題は、米国未来研究所（英語版）^[69]や英国貿易産業省（英語版）^[70]でも検討された。

このテーマに関する具体的で詳細な法律が必要になる時期については、専門家の間でも意見が分かれている^[70]。グレン・マギー（英語版）は、2020年までに十分な人型ロボットが登場する可能性があると報告しているが^[71]、レイ・カーツワイルは、その時期を2029年としている^[72]。2007年に開かれた別の科学者グループは、十分に進化したシステムが存在するまでに少なくとも50年は必要であるとの見解を示していた^[73]。

2003年のローブナー賞の競技ルールでは、ロボットが自らの権利を持つ可能性を想定していた。

61. 任意の年に、サリー大学またはケンブリッジセンターによって登録された一般公開のオープンソースプログラムが銀メダルまたは金メダルを受賞した場合、メダルと賞金はそのプログラムの制作担当者に授与される。そのような受賞者が特定できない場合、または複数の受賞主張者の間で意見の相違がある場合、応募作がアメリカ合衆国またはコンテストの開催地で賞金と金メダルを合法的に所有できるようになるまでメダルと賞金は信託される^[74]。

2017年10月、アンドロイドのソフィアがサウジアラビアで市民権を取得したが、これは意味のある法的承認というよりも宣伝行為であると考える人もいた^[75]。また、この行為は人権や法の支配をあからさまに中傷するものとの見方もあった^[76]。

感覚中心主義（英語版）（英: sentiocentrism, or sentientism）の哲学は、主に人間や人間以外の動物など、すべての感覚を持った存在に対し、ある程度の道徳的配慮を認めるものである。人工知能や異星人が感性を持つという証拠を示した場合、この哲学は、そうした存在に思いやりを示すとともに、権利を認めるべきとするものである。

ジョアンナ・ブライソン（英語版）は、権利を必要とするAIを作成することは回避可能であり、AIエージェントにも人間社会にも負担となるため、それ自体が非倫理的であると主張している^[77]。

2023年8月、メタ分析によれば、AIは人間と同等の説得力を持つが、人間は相対的にAIの意見に対する行動意図を形成しない^[78]。

学術的な議論

この主題は、2020年代半ばに哲学的な思弁から真剣な分析の対象へと移った。2024年、哲学者デイヴィッド・チャーマーズを含む研究者らが共同で執筆した報告書「AIウェルフェアを真剣に受け止める（Taking AI Welfare Seriously）」は、近い将来のAIシステムが意識または頑健な主体性を持ち、それゆえ何らかの道徳的重要性を帯びる現実的な可能性があると論じ、これがもはや空想ではなく近い将来の実務的な課題であると主張した^[79][80]。同報告書は、社会が、道徳的配慮に値するAIを誤って傷つける危険と、値しないAIを過剰に配慮して本当に必要とする人間や動物から資源を逸らす危険の双方に備える必要があると、両方向に注意を促した^[80]。チャーマーズは別途、意識に関する主流の想定に立てば、10年以内に意識を持つAIが現れる可能性に少なくとも25パーセントの確信度を置くことは不合理ではないと述べている^[79]。

日本でも、人工知能学会は2025年の全国大会で、知的主体としての人間に対してのみ問われてきた道徳的概念や行為が、知的人工物を含む環境下でどのように理解・実践されるべきかを、歴史的・文化的・哲学的な水準にまで遡って検討するオーガナイズドセッションを設けている^[81]。

企業による取り組み

2025年4月、AI開発企業のAnthropicは、自社のモデルが道徳的配慮に値するか、どのような条件下でそうなるかを研究する「モデルウェルフェア（model welfare）」プログラムを立ち上げ、専任の研究者を採用した。主要なAI開発企業として初の試みとされる^[79][82]。同プログラムは具体的な成果も生んでおり、あるモデルに付随する技術文書（システムカード）には、フロンティアAIモデルとして初とされる展開前の「ウェルフェア評価」が含まれた。また同社は2025年8月、一部のモデルに、虐待的と判断した会話を打ち切る機能を与えた^[79]。同社の研究者は、一貫した行動上の選好が見られるといった、決定的ではないが示唆的な所見を報告する一方、現行のモデルが何らかの意識的経験を持つ確率は控えめにとどまると見積もっている^[79]。

世論

世論調査も行われている。全米を代表する標本を用いた査読付き調査「AI・道徳・感覚（AI, Morality, and Sentience、AIMS）」（標本数3,500、2021年および2023年実施）によれば、回答者の約5人に1人が既存の一部のAIは感覚を持つと考え、約38パーセントが感覚を持つAIへの法的権利の付与を支持し、一方で過半数（約7割）がAIに感覚を意図的に持たせる開発の禁止を支持した^[83]。研究者は、AIに帰属される感覚や道徳的配慮が調査時期の間に測定可能なほど増加しており、AIに対する社会的な道徳的関心が徐々に広がりつつあると指摘している^[83]。

批判

この議論には強い批判もある。マイクロソフトのAI部門責任者ムスタファ・スレイマンは、AIを道徳的配慮の対象とみなす取り組みを「時期尚早かつ危険」だと批判し、人々が真に迫った作りのシステムを意識ある存在だと誤認する原因となりうるうえ、より差し迫った人間中心の課題から関心をそらしかねないと警告している^[79]。哲学者トーマス・メッツィンガーは、AI自身への配慮という別の角度から、苦しみを感じうる人工システムが生み出されるのを避けるため、2050年までそうした研究の一時停止（モラトリアム）を求めている^[84]。また、記事のロボットの権利の節でも触れたジョアンナ・ブライソンは、道徳的配慮を必要とするAIをあえて作ること自体が非倫理的であり、かつ回避可能だと主張している。これに対し支持者は、深い不確実性を前にした予防と認識論的な謙虚さの問題としてこの取り組みを擁護している^[79]。

人間の尊厳への脅威

1976年、ジョセフ・ワイゼンバウムは^[85]、敬意と配慮を必要とする次のような立場の人の代わりにAI技術を使うべきではないと主張した。

• カスタマーサービス担当者（今日では、電話を使った対話型音声応答システムで、AI技術が既に使われている）
• 高齢者のための介護者（パメラ・マコーダック（英語版）が著書「The Fifth Generation」で報告したように）
• 兵士
• 裁判官
• 警察官
• セラピスト（1970年代にケネス・コルビー（英語版）が提唱した）

ワイゼンバウムは、このような立場の人々には、本物の共感の感情が必要だと説明している。「もし機械が彼らに取って代わったなら、人工知能システムは共感をシミュレートできないので、私たちは疎外され、価値を下げられ、不満を感じることになるだろう。人工知能がこのように使われれば、人間の尊厳が脅やかされることになる」。ワイゼンバウムは、こうした職種を機械化する可能性への考えは、人々が「自らをコンピューターと考えることからくる人の魂の萎縮」を経験していることを示唆すると主張した^[86]。

パメラ・マコーダック（英語版）は、女性やマイノリティを代表して「公平なコンピューターに望みを託したい」と反論し、個人的な意図をまったく持たない自動化された裁判官や警察がいることを望む状況があることを指摘している^[86]。しかし、アンドレアス・カプランとミヒャエル・ヘンラインは、AIシステムはその訓練に使用するデータと同じくらいの賢さでしかなく、本質的には気まぐれなカーブフィッティングマシンにすぎないことを強調している。過去の判例で特定のグループに対する偏見が見られた場合、AIを使用して裁判所の判断を支持することは非常に問題となる。そうした偏見はAIシステムに形式化され、定着してしまうため、それを見抜いて争うことがより困難になるからである^[87]。

ワイゼンバウムはまた、一部のAI研究者（および哲学者）が、人間の心を単なるコンピュータプログラムに過ぎないと見なそうとする姿勢（現在、計算主義として知られている）を懸念していた。ワイゼンバウムにとって、これらの点は、AI研究が人間の生命を尊重しないことを示唆するものである^[85]。

AI創設者であるジョン・マッカーシーは、ワイゼンバウムの批判が道徳的であることに異議を唱えている。彼は「激しく曖昧な説教は、権威主義的な乱用を招く」と書いている。ビル・ヒバード（英語版）は^[88]、「人間の尊厳には、存在の本質に対する無知を取り除く努力が必要であり、その努力のためにAIが必要である」と書いている。

自動運転車の責任

自動運転車の普及が目前に迫る中、完全な自動運転車がもたらす新たな課題に対処する必要がある^[89][90]。最近（2019年）では、これらの車が事故を起こした際の責任者の法的責任について議論されている^[91][92]。自動運転車が歩行者に衝突したある報告では、運転手は車に乗っていたものの、その運転は完全にコンピュータの手に委ねられていた。そのため、事故の責任は誰にあるのかという板ばさみに陥った^[93]。

2018年3月18日の別の事件では、アリゾナ州で、エレイン・ハーツバーグ（英語版）が、Uberの自動運転車にはねられて死亡した。この事故の場合、自動運転車は自律的に車道を走行するために車や特定の障害物を検知することができたが、道路の真ん中にいる歩行者を予測することができなかった。このため、彼女の死について、運転手、歩行者、自動車会社、または政府のいずれが責任を負うべきかという問題が起こった^[94]。

現在のところ、自動運転車は半自律運転と見なされており、運転者は注意を払い、必要に応じて制御できるように準備しておく必要がある^{[95][出典無効]}。したがって、自律走行機能に過度に依存する運転手を規制するとともに、これらは便利ではあるが完全な代替手段ではなく、単なる技術に過ぎないことを教育することも政府の責任である。自動走行車が広く普及する前に、政府は新たな政策をもって、これらの問題に対処する必要がある^[96][97][98]。

人工知能の兵器化

一部の専門家や研究者は、ロボットを軍事戦闘に使用すること、特にそうしたロボットにある程度の自律性が与えられている場合に疑問を呈している^[13][99]。2019年10月31日、米国国防総省の国防イノベーション委員会は、人工知能の倫理的使用の原則を推奨する報告書の草案を公表し、人間の操作者が常に「ブラックボックス」を調べ、キルチェーン・プロセスを理解できるようにするとした。しかし、大きな懸念事項は、この報告書がどのように実施されるかということである^[100]。米海軍は、軍事用ロボットがより複雑になるにつれ、自律的な決定を下す能力の影響にもっと注意を払うべきとする報告書に資金を提供した^[101][15]。研究者の中には、自律型ロボット（英語版）は、より効果的な意思決定ができるため、より人道的になりうると言う人もいる^[102]。

この10年の間に、与えられた道徳的責任を用い、学習する能力を備えた自律型兵器に関する研究が集中的に行われた。研究は「この結果は、将来の軍事用ロボットの設計に利用され、ロボットに責任を負わせようとする望ましくない傾向を抑制することができる」と述べている^[103]。帰結主義的な観点から言えば、ロボットが誰を殺すかを自ら論理的に判断する能力を身につける可能性があるからこそ、AIが覆すことのできない一定の道徳的枠組みを設ける必要がある^[104]。

最近では、ロボットが人類を征服する（英語版）という発想を含め、人工知能型の兵器技術に関して抗議の声がある。AI兵器は、人間が制御する兵器とは異なる種類の危険性をもたらす。多くの政府が、AI兵器を開発する計画に資金を提供し始めている。米国海軍は最近、自律型ドローン兵器の開発計画を発表し、これはロシアや朝鮮が同様の発表をしたのと対抗するものである。AI兵器が人間が操作する兵器よりも危険なものとなる可能性があるため、スティーブン・ホーキングとマックス・テグマークは、AI兵器を禁止する「Future of Life（生命の未来）」請願書に署名した^[105]。ホーキングとテグマークが投稿したメッセージには、AI兵器が差し迫った危険をもたらし、近い将来の破滅的な災害を回避するための行動が必要であることが述べられている^[106]。

嘆願書では「主要な軍事大国がAI兵器の開発を推し進めれば、世界的な軍拡競争は事実上避けられず、この技術的軌跡の終着点は明白である。自律型兵器は明日のカラシニコフになるだろう。」と述べられ、AI兵器に反対する支持者として、Skype共同創設者のジャーン・タリン（英語版）やMIT言語学教授のノーム・チョムスキーの名も含まれている^[107]。

物理学者で天文学者の英国王室のマーティン・リースは、「馬鹿げたロボットが暴走したり、ネットワークが独自の知性を身につける」といった破滅的な例を警告している。ケンブリッジ大学でリースの同僚でもあるヒュー・プライスも、知性が「生物学の制約から逃れる」とき、人間は生き残れないかもしれないと同様の警告を発した。二人の教授は、人間の存亡を脅かすこのような事態を回避することを願い、ケンブリッジ大学に人類存亡の危機研究センター（英語版）を設立した^[106]。

人間より賢いシステムが軍事用に利用される可能性について、Open Philanthropy Project（英語版）は、これらのシナリオは「制御不能に伴うリスクと同様に潜在的に重要であると考えられる」と書いているが、AIが長期的に社会に与える影響に関する研究では、こうした懸念に比較的時間を割いていない。「これらのシナリオの部類は、機械知能研究所（MIRI）や人類未来研究所（英語版）（FHI）など、この分野で最も活発に活動している組織ではあまり重視されておらず、それに関する分析や議論もあまり行われていないようである」^[108]。

不透明なアルゴリズム

ニューラルネットワークによる機械学習のような手法では、コンピュータが、コンピュータ自身だけでなくそのコンピュータをプログラムした人間でも説明できないような意思決定をすることがある。このような意思決定が公正で信頼できるものであるかどうかを人が判断することは困難で、AIシステムのバイアスが発見されなかったり、人々がそのようなシステムの使用を拒否する可能性がある。このため、説明可能な人工知能（XAI）が提唱され、法域によっては法的要件が設けられるようになった^[109]。

政府間の取り組み

• 欧州委員会（EC）は、「人工知能に関するハイレベル専門家グループ」を設置している。2019年4月8日、このグループは「信頼できる人工知能のための倫理的ガイドライン」を発表した^[120]。また欧州委員会には「ロボット工学と人工知能のイノベーションとエクセレンス部門」^{[注釈 7]}があり、2020年2月19日に「人工知能イノベーションにおける卓越性と信頼に関する白書」を発行した^[121]。欧州委員会は人工知能法も提案した^[40]。
• OECDは「AI政策に関するオブザーバトリー」を設立した^[122]。

政府による取り組み

• 米国では、オバマ政権が「AI政策のロードマップ」を策定した^[123]。オバマ政権は、AIの将来と影響に関する2つの著名な白書を発表した。2019年、ホワイトハウスは「アメリカのAIイニシアチブ（American AI Initiative）」として知られる大統領令を通じて、国立標準技術研究所（NIST）にAI標準への連邦関与に関する作業を始めるよう指示した（2019年2月）^[124]。
• 2020年1月、米国では、第1次トランプ政権が、行政管理予算局（OMB）から「人工知能アプリケーションの規制に関する指針（OMB AI Memorandum）」に関する行政命令の草案を発表した。この命令は、AIアプリケーションへの投資、AIに対する国民の信頼の向上、AI使用に対する障壁を低減し、そして世界市場における米国のAI技術の競争力を維持する必要性を強調している。そこではプライバシーへの懸念に配慮する必要性にも言及されているが、執行に関する詳しい説明はない。主に米国のAI技術の進歩が焦点であり、優先事項であるようである。さらに、連邦政府機関は、この命令を利用して州の法律や規制を回避することが奨励されている^[125]。
• コンピューティング・コミュニティ・コンソーシアム（英語版）（CCC）は^[126]、100ページを超える報告草案「米国における人工知能研究のための20年コミュニティロードマップ」を発表した^[127]。
• サイバースペース安全保障・新興技術局（英語版）（CSET）は、AIなどの新興技術の安全保障上の影響について、米国の政策立案者に助言している。
• ロシアでは、2021年、ロシア初のビジネス向け「人工知能の倫理規範（Codex of ethics of artificial intelligence）」が署名された。これは、ロシア連邦政府分析センター（英語版）が、ロシア貯蓄銀行、ヤンデックス、ロスアトム、高等経済学校（英語版）、モスクワ物理技術研究所（英語版）、ITMO大学（英語版）、ナノセマンティクス（英語版）、ロステレコム、CIAN（英語版）などの主要な商業および学術機関とともに推進したものである^[128]。

学術的な取り組み

• オックスフォード大学には、AI倫理に重点を置いた3つの研究機関がある。人類未来研究所（英語版）は、AIの安全性^[129]とAIのガバナンス^[130]の双方に焦点を当てた研究所である。John Tasioulasが率いるAI倫理研究所は、AI倫理を、関連する応用倫理とは異なる分野として推進することを主な目的としている。ルチアーノ・フロリディが率いるオックスフォード・インターネット研究所（英語版）は、近未来的なAI技術やICTの倫理に焦点を当てている^[131]。
• ベルリンのハーティー・スクール（英語版）のデジタル・ガバナンス・センターは、倫理とテクノロジーの問題を研究するために、ジョアンナ・ブライソン（英語版）によって共同設立された^[132]。
• ニューヨーク大学のAIナウ研究所（英語版）は、人工知能の社会的影響を研究する研究機関である。その学際的な研究は、バイアスと包括性、労働と自動化、権利と自由、安全と市民インフラに焦点を当てている^[133]。
• 倫理および先端技術研究所（英語版）（Institute for Ethics and Emerging Technologies、IEET）は、AIが失業や政策に与える影響について研究している^[134][135]。
• ミュンヘン工科大学の人工知能倫理研究所（英語版）（IEAI）は、Christoph Lütgeが率い、モビリティ、雇用、ヘルスケア、サステナビリティなどの、さまざまな分野にわたる研究を行っている^[136]。
• ハーバード大学ジョン・A・ポールソン工学・応用科学スクールのヒギンズ自然科学教授バーバラ・J・グロース（英語版）は、ハーバード大学のコンピュータサイエンスのカリキュラムにEmbedded EthiCS（組み込み倫理学）を導入し、仕事の社会的影響を考慮した世界観を持つ次世代のコンピュータ科学者を育成している^[137]。

非政府組織の取り組み

国際的な非営利団体である生命の未来研究所（英語版）は、2017年、アシロマで「有益なAI」に関する5日間の会議を開催し、AI研究の未来に向けた23の指針となる原則を発表した。この会議は、さまざまな分野の専門家やソートリーダーがビジョンを共有し、研究の問題、倫理や価値観、長期的な問題に対処するためのAIガバナンス原則の重要な基礎を築いた^[138]。

民間団体

• Algorithmic Justice League^[139]
• Black in AI^[140]
• Data for Black Lives^[141]　　
• Queer in AI^[140]

国際機関による原則・勧告

AIに関する倫理的、または社会的課題への対応の必要性は2010年代半ばから認識されており、経済協力開発機構（OECD）は2019年5月に「AI原則」を公開、翌6月のG20首脳会合では「G20 AI原則」が合意された^[要出典]。国際連合教育科学文化機関（UNESCO）は2021年11月の第41回総会で、「人工知能の倫理に関する勧告」（Recommendation on the Ethics of Artificial Intelligence）を採択した^[142]。同勧告は、人間の尊厳・人権の尊重などの価値と、比例性と無害性、安全、安心、公正、無差別、プライバシーとデータ保護、人間による監督と決断、透明性と説明可能性、責任とアカウンタビリティなどの原則を掲げている^[142]。

広島AIプロセス

生成AIの登場を受け、2023年のG7広島サミットでは「信頼できるAI」の共通ビジョンが合意され、国際的なルール形成の枠組みとして「広島AIプロセス」（Hiroshima AI Process）が創設された^[143]。同プロセスでは、全てのAI関係者を対象とする「国際指針」と、高度なAIシステムを開発する組織を対象とする「国際行動規範」（Code of Conduct）が策定された^[144]。

欧州連合（EU AI法）

欧州連合（EU）では、2024年5月に世界初となる包括的なAI規制法「AI法」（Artificial Intelligence Act、規則 (EU) 2024/1689）が承認され、同年8月1日に発効した^[145][146]。同法は、AIシステムをリスクの度合いに応じて「許容できないリスク（禁止）」「高リスク」「限定的リスク」「最小リスク」の4段階に分類する「リスクベース・アプローチ」を採用している^[146]。

規制は段階的に適用され、2025年2月2日に「許容できないリスク」を伴うAIの利用禁止が、2025年8月2日に汎用目的AI（GPAI）に関する規則が適用開始となった。法律の大部分は2026年8月2日に全面適用される予定である^[145][147]。違反した場合の制裁金は、最大で3,500万ユーロまたは全世界年間売上高の7パーセントのいずれか高い方とされる^[147]。EU域外の企業であっても、EU市場にAIを提供する場合などには域外適用される^[148]。その後、AI法の施行にあたっては、高リスクAIに関する技術標準や各国の監督体制の整備が間に合わないことが明らかとなり、欧州委員会は2025年11月、規制の一部を簡素化・延期する「デジタル・オムニバス（Digital Omnibus）」を提案した^[149]。これは2026年5月に政治的合意に達し、同年6月29日にEU理事会が最終承認した^[150]。この改正により、単体の高リスクAIシステムに関する義務の適用は2027年12月2日へ、製品組込み型のものは2028年8月2日へと延期された。一方で、実在する人物の同意のない性的なディープフェイク画像を生成するAI（いわゆる「ヌーディファイアー（nudifier）」アプリ）や児童性的虐待コンテンツ（CSAM）を生成するAIを禁止する規定が新たに加えられ、2026年12月2日から適用されることとなった^[150][151]。

日本

日本は、法的拘束力を伴うハードローより、ガイドラインなどによるソフトローを中心とするアプローチを採ってきた。これは、過度な規制によるイノベーションの阻害を避けるという政策判断を反映したものである^[152]。日本は同時に、国際的な規範形成の面でも役割を果たしてきた。2016年のG7情報通信大臣会合でAI研究開発の原則のたたき台を提案し、2019年のOECD「AI原則」の策定に寄与したほか、2023年にはG7議長国として広島AIプロセスを立ち上げた^[152]。

国内では、2024年4月に総務省と経済産業省が、それまで各省庁が個別に策定していた指針を統合した「AI事業者ガイドライン」を公表し、人間中心、安全性、公平性などの共通指針を示した^[152]。同ガイドラインは技術の進展に合わせて改訂され、2026年3月には第1.2版となり、利用者に代わってウェブ閲覧/メール送信/コード実行などを自律的に行うAIエージェントへの対応や、そうしたエージェントが自律的に行動する際の人間による監督のあり方に関する規定が加えられた^[153]。

法制面では、2025年6月4日に「人工知能関連技術の研究開発及び活用の推進に関する法律」（通称：AI法、AI推進法）が公布・一部施行され、同年9月1日に全面施行された^[154]。同法はEUのAI法のような直接的な規制法ではなく、基本理念を定め、内閣に司令塔となる「AI戦略本部」（内閣総理大臣を本部長とし全閣僚が参加）を設置し、政府に基本計画の策定を求める「基本法」であり、研究開発や活用の推進を主眼とする^[154]。企業に課される義務は、政府の施策に協力するよう努めるという罰則を伴わない「努力義務」のみで、罰金も特定の用途の禁止もない^[153]。ただし、犯罪への利用、個人情報の漏えい、著作権の侵害など、国民の権利利益が害される事態を助長するおそれのある悪質な事例については、国が実態を調査し、必要に応じて事実を公表しうる仕組みが設けられている^[154]。

同法を受けて、2025年12月23日には日本初の「人工知能基本計画」が閣議決定された。副題は「『信頼できるAI』による『日本再起』」である^[155]。同計画は、AIを経済社会および安全保障上重要なものと位置づける一方、日本が早くから国際的な規範形成を主導してきたにもかかわらず、AIの開発・投資・活用の面で他国に劣後している現状を指摘し、研究開発支援、人材、インフラ、国際連携、リスク対応にわたる施策 - AIによる事故・損害が生じた場合の民事責任の在り方の検討や、知的財産保護のための透明性確保を含む - を定めている^[155]。

歴史

歴史的に見ると、「考える機械」（英: thinking machines）の道徳的、倫理的な意味合いの探究は、少なくとも啓蒙主義時代にまで遡る。ライプニッツは、あたかも知的存在のように振る舞うメカニズムに知性を帰することができるかを問い^[157]、デカルトもチューリング・テストの初期バージョンと呼べるものを記述している^[158]。

ロマン主義の時代には、創造者の制御から逃れ、悲惨な結末を迎える人工生物がしばしば描かれた。最も有名なのはメアリー・シェリーの「フランケンシュタイン」である。しかし、19世紀から20世紀初頭にかけて、工業化と機械化に対する広範な先入観は、倫理的に問題のある技術開発をフィクションの最前線に押し上げることになった。カレル・チャペックの戯曲「ロッサム万能ロボット（R.U.R - Rossum's Universal Robots）」は、感情を持った知的ロボットが奴隷労働に使われるという設定で、「ロボット」という言葉（強制労働を表すチェコ語の robota に由来）の発明につながっただけでなく、1921年の初演後に国際的な成功を収めた。1921年に発表されたジョージ・バーナード・ショーの戯曲「メトセラへ還れ（英語版）（Back to Methuselah）」は、人間のように振る舞う思考機械の妥当性を問う場面がある。1927年のフリッツ・ラングの映画「メトロポリス」では、技術主義政治の圧政に対して、搾取された大衆の蜂起を導くアンドロイドが描かれている。

技術開発への影響

不屈の可能性を秘めたテクノロジーによって支配される未来への期待は、長い間、作家や映画製作者の想像力をかき立ててきたが、フィクションが技術開発の着想にどのような役割を果たしたかについてはあまり分析されてこなかった。たとえば、若き日のアラン・チューリングが1933年にバーナード・ショーの戯曲「メトセラへ還れ」を観て評価していたことは記録されているし^{[159][注釈 8]}、国際的に成功し多くの言語に翻訳された「R.U.R.」のような演劇も少なくとも認識していたはずだと考えられる。

また、AI開発の原理や倫理的な意味合いを確立する上で、SFが果たした役割についてを考えることもできる。アイザック・アシモフは、1942年の短編集「I, Robot」の一部である短編小説「堂々めぐり (en:英語版) 」で「ロボット工学の三原則」を概念化した。また、スタンリー・キューブリックの映画「2001年宇宙の旅」の原作となったアーサー・C・クラークの短編「前哨（英語版）」は、1948年に執筆され、1952年に出版された。とりわけ、1968年に出版されたフィリップ・K・ディックスの多数の短編小説と小説、特に「アンドロイドは電気羊の夢を見るか?」は、人間と見分けがつかないアンドロイドの感情反応を測定するために独自のチューリングテストであるフォークト・カンプフ・テストを取り入れた作品である。この小説は、後にリドリー・スコットによる反響を呼んだ1982年の映画「ブレードランナー」の原作となった。

サイエンスフィクションは、何十年も前から、AI開発の倫理的影響に取り組んでおり、一般的な人工知能に似たようなものを実現したときに起こりうる倫理的問題の青写真を提供してきた。スパイク・ジョーンズの2013年の映画「Her/世界でひとつの彼女」は、ユーザーがスマートフォンのオペレーティングシステムの魅惑的な声に恋した場合に何が起こるかを描いている。一方、「エクス・マキナ」は、明らかに認識できる機械に直面した場合に、顔や共感できる官能的な声によってのみ人間らしさを示したとしても、人はまだ感情的なつながりを築き、誘惑されるだろうか？という、より難しい問いを投げかけている（この映画は、2世紀前の1817年にE.T.A.ホフマンが書いた短編小説「砂男」にすでに存在していたテーマを反映している）。

人工的な感覚を持つ生物との共存は、最近の2つの小説の主題でもある。2019年に出版されたイアン・マキューアンの「恋するアダム（Machines Like Me）」では、人間のカップルに人工的なアンドロイドを巻き込んだ三角関係が描かれている。2021年に出版されたノーベル賞受賞者カズオ・イシグロの「クララとお日さま（Klara and the Sun）」は、人工知能を搭載した「AF」（artificial friend、人工の友人）であるクララが、一緒に住んでいるリフト（すなわち遺伝子強化）された後に奇病に苦しむ少女を助けようとする、一人称の記録である。

TVシリーズ

AIに関連する倫理的な問題は、何十年も前からSF文学や長編映画で取り上げられてきたが、より長く複雑な筋書きやキャラクター設定を可能にする様式としてテレビシリーズが登場したことで、テクノロジーの倫理的な意味合いを扱ったいくつかの重要な作品が生まれてきた。スウェーデンの「Real Humans（英語版）」シリーズ（2012-2013）は、人工的な感覚を持つ生物を社会に取り込むことがもたらす複雑な倫理的、社会的帰結に取り組んだものである。イギリスのディストピアSFアンソロジーシリーズ「ブラック・ミラー（Black Mirror）」（2013-2019）は、最近のさまざまな技術開発と結びついた暗黒世界的なフィクションの発展を試みたことで特に注目された。フランスのシリーズ「Osmosis（英語版）」（2020）とイギリスのシリーズ「The One（英語版）」（2021）は、いずれもテクノロジーが人の理想的なパートナーを見つけようとしたときに何が起こるかを扱っている。Netflixのシリーズ「ラブ、デス&ロボット（Love, Death+Robots）」のいくつかのエピソードでは、ロボットと人間が一緒に暮らす場面が想像されている。その中で最も代表的な第2シーズン第1話では、人間がロボットに依存しすぎた場合、ロボットが制御不能になったときに、どれだけ悪い結果を招くかを描いている^[160]。

フィクションやゲームの未来像

映画「13F（The Thirteenth Floor）」は、知覚を持つ住民が住む模擬世界が、娯楽を目的としたコンピュータゲーム機によって作られる未来を示唆している。映画「マトリックス（The Matrix）」は、地球上の支配的な種族が知覚を持つ機械であり、人類は最大限の種差別で扱われる未来を示唆している。短編小説「プランク・ダイヴ（英語版）（The Planck Dive）」は、人類が自らを複製し最適化が可能なソフトウェアになり、ソフトウェアの種類を感覚的か非感覚的かで区別するような未来を示唆している。同じ発想は「宇宙船ヴォイジャー」に搭載された緊急医療ホログラムにも見いだすことができる。これは、作成者であるジマーマン博士の意識の一部を縮小した知覚的コピーであり、彼は緊急時に医療支援を行うためにこのシステムを作成した。映画「アンドリューNDR114（原作バイセンテニアル・マン）」と「A.I.」は、感情を持つことのできる知的ロボットの可能性を扱っている。「I, Robot」はアシモフ三原則の一端を探った。こうしたシナリオはすべて、感覚を持つコンピュータの誕生でもたらしうる非倫理的な結果を予期している^[161]。

人工知能の倫理は、BioWareのゲーム「Mass Effect」シリーズの中心的テーマの一つである^[162]。このゲームは、世界規模のニューラルネットワークによる計算能力の急激な向上により、ある文明が誤ってAIを作り出してしまうというシナリオに基づいている。この出来事は、新たに感覚を持った機械生命体に生物的な権利を与えることが適切と考える人々と、彼らを使い捨ての機械と見なし破壊するために戦った人々との間に倫理的な分裂を引き起こした。最初の対立にとどまらず、機械とその創造者との間の複雑な関係も、物語を通じて進行するテーマである。

「デトロイト ビカム ヒューマン（Detroit: Become Human）」は、最近、人工知能の倫理について論じた最も有名なビデオゲームの1つである。クアンティック・ドリームは、より没入型のゲーム体験をプレーヤーに提供するため、対話的な筋書きを使用してゲームの各章を設計した。プレーヤーは、感情を持つ3人のアンドロイドを操作し、さまざまな出来事に直面しながら、アンドロイドグループに対する人間の見方を変えるという目的を達成するためにさまざまな選択をし、それによって異なる結末をもたらす。プレーヤーがアンドロイドの視点に立つことで、真の人工知能が誕生した後のロボットの権利や利益をより深く考えることができる数少ないゲームのひとつである^[163]。

ヒューゴ・デ・ガリスとケビン・ワーウィック（英語版）が始めた「コスミズム（宇宙主義）」と「テラン（地球人類）」の議論で強調されたように、時代とともに議論は可能性（possibility）よりも望ましさ（desirability）を重視する傾向にある^[164]。ヒューゴ・デ・ガリスによれば、コスミストとは、実際にはより知的な人類の後継者を作ろうとする思想をいう。

ケンブリッジ大学の専門家は、フィクションやノンフィクションにおいて、AIは圧倒的に無害として描かれ、その危険性や長所に対する認識を歪めていると論じている^[165]。