ハルシネーション (人工知能)

生成AIが虚偽または誤解を招く情報を事実として提示する現象は、精神医学におけるヒトの幻覚（あるいは作話・妄想）とのアナロジーからその名が付けられている。ただし、人間にとっての幻覚とは「対象なき知覚」とも呼ばれ、感覚器官を通じて知覚している「対象が存在しないにもかかわらず真の知覚と区別できない知覚体験をすること」が一般的な定義とされる^[12]。それに対して生成AIの幻覚とは、どのような学習データとも整合しない回答を生成AIが生成することである^[7]。そのため、幻覚ではなく作話（confabulation）という表現を好んで使う研究者もいる^[13]。

歴史的には、2000年代初頭、コンピュータービジョンでは「ハルシネーション」という言葉が、画像にディテールを加えるプロセスを説明する肯定的な意味合いで使われていた。たとえば、低解像度の入力から高解像度の顔画像を生成するタスクは「フェイス・ハルシネーション」と呼ばれる^[14][15]。

2010年代後半には、この用語は意味が変化し、翻訳や物体検出などのタスクにおいて生成AIシステムが不正確なまたは誤解を招く出力を生成することを意味するようになった^[14]。たとえば、2017年には、Googleの研究者が、ニューラル機械翻訳（NMT）モデルによって生成された応答がソーステキストに関連しない場合にこの用語を使用した^[16]。また、2018年には、コンピュータービジョンにおいて、敵対的攻撃によって存在しないオブジェクトが誤って検出された例を説明するためにこの用語が使用された^[17]。

「ハルシネーション」という用語は、 生成AIブームの最中に大規模言語モデル（LLM）に基づく広く使用されているチャットボットの普及とともに広く認識されるようになった^[18]。2021年7月、MetaはBlenderBot 2のリリース時に、このシステムは「ハルシネーション」を起こしやすいと警告した。Metaはこれを「真実ではない自信のある発言」と定義している^[19][20]。2022年は、ChatGPTやMicrosoft CopilotのようなLLMが公開されたこともあり、生成AIのハルシネーションについて以前にも増して注目が集まった年になった^[21]。2022年11月にOpenAIがChatGPTのベータ版をリリースした後、一部のユーザーから、生成されたコンテンツ内にもっともらしく聞こえる嘘がランダムに埋め込まれていることが多いと苦情が寄せられた^[22]。

こうした言語モデルが生成するコンテンツは「ソシオパス」を思わせるほど、一見もっともらしく聞こえるのに実際には無意味で無作為的な誤りが入り込む現象が起こり、一般の利用者からも不満の声が上がっている^[23]。また別の形のハルシネーションとして、生成AIが人間だと主張するケースもある^[24]。ニューヨークタイムズを含む多くの報道機関は、これらのモデルの時折不正確な、または一貫性のない応答を説明するために「ハルシネーション」という用語を使い始めた^[25]。報道機関などは大規模言語モデルが普及するにつれて、利用者が出力結果を鵜呑みにしてしまい、様々な問題が起こると警鐘を鳴らしている^[26]。

また2023年の時点で、アナリストたちは大規模言語学習をめぐるテクノロジーにおいて、生成AIが頻繁にハルシネーションに陥ってしまう現象は、深刻な問題になるだろうと予想している^[11]。2023年に行われた、GPTをベースにしたMicrosoftのチャットボットであるBing AI Chatのデモンストレーションでも、生成AIがさまざまなハルシネーション状態に陥ったが、プレゼンターはそれに気づいていなかった^[11]。

「ハルシネーション」という概念は自然言語処理以外の分野にも適用される。生成AIが出力した確信的な回答で、しかし学習データからは正当化できないようなものは、いずれもハルシネーションと捉えうる^[7]。

2023年には、いくつかの辞書が「ハルシネーション」の定義を更新し、生成AI分野での意味が含まれるようになった^[5][27]。

一方2025年には、こうした「ハルシネーション」という表現が示唆する偶発的・例外的な誤作動という理解に対し、ハルシネーションを大規模言語モデルの設計や評価過程に内在する構造的な現象として捉える研究も現れている。これらの研究では、確率的言語生成の仕組みや訂正・評価のフィードバック構造そのものが、もっともらしい誤情報の生成や固定化に関与している可能性が指摘されている^[28][29]。

「ハルシネーション」という用語は、ノースイースタン大学実験生成AI研究所の所長であるウサマ・ファイヤドによって、大規模言語モデルを誤解を招く形で擬人化しており、曖昧であるという理由で批判されている^[30]。

統計学者のゲイリー・N・スミスは、言語モデルは「言葉の意味を理解していない」ため、「ハルシネーション」という用語は機械を不当に擬人化していると主張している^[31]。ジャーナリストのベンジ・エドワーズは「ハルシネーション」という用語は議論の余地があるが、何らかの形の比喩は必要であると書いている。エドワーズは「創造的なギャップ埋め」を伴うプロセスのアナロジーとして「作話」を提案している^[3]。

自然言語処理では、ハルシネーションは「事実のように見えるが根拠のない生成されたコンテンツ」と定義されることが多い^[32]。

LLM の文脈における「ハルシネーション」という用語の使用、定義、または特徴付けのリストは次の通りである

• 「予測不能なタイミングで事実を捏造する傾向」（OpenAI、2023年5月）^[33]
• 「モデルの論理的誤り」（OpenAI、2023年5月）^[33]
• 「情報を完全に捏造しているが、あたかも事実を語っているかのように振る舞っている」（CNBC、2023年5月）^[33]
• 「情報の捏造」（The Verge、2023年2月）^[34]

自然言語モデルが幻覚（ハルシネーション）を生じさせる理由によって^[7]、いくつかの分類に分けられる。出力がソースと矛盾するか、ソースから検証できないかによって、それぞれ内因性と外因性に分類される^[7]。出力がプロンプトと矛盾するかどうかによって、それぞれクローズドドメインとオープンドメインに分類できる^[35]。

2022年8月、Metaはリリース中だったチャットボットのBlenderBot 3が、ハルシネーションを生じやすいシステムだという注意喚起を行っている（Metaの表現によれば「真実ではないのに自信にあふれた発言」をする^[40]）。

2022年11月15日、Metaは言語モデルGalacticaを公開した。このモデルは「科学的な知識を記憶し、結びつけ、判断する」ようデザインされていた。しかしGalacticaは文章を生成しながら「タコを信じてはいけない！言語モデルはテキストを幻惑させる傾向がある」といった警告を行うこともあった。アバターを作るための論文を書くように言われたGalaticaが、実在する関連領域の研究者の存在しない架空の論文を引用するケースもあった。Metaはリリース直後の同年11月17日に、不快だったり不正確なコンテンツを生成するという理由で、Galacticaの公開を中止した^[41][42]。

2022年11月30日にベータ版として一般公開されたOpenAIのChatGPTは、基盤モデルGPT-3.5（GPT-3の改訂版）をベースにしている。ウォートンのイーサン・モリック教授は、ChatGPTを「全知全能で、時には嘘をつく、喜ばせたがり屋のインターン」と呼んでいる。データサイエンティストのテレサ・クバッカは、「サイクロイド逆電磁石」というフレーズをわざと作り上げ、（存在しない）現象について質問してChatGPTをテストしたことを語った。ChatGPTは、もっともらしい引用文を添えたもっともらしい回答をでっち上げたため、彼女は誤って実際の現象の名前を入力したのではないかと再確認せざるを得なかった。オーレン・エツィオーニなどの他の学者もクバッカに賛同し、そのようなソフトウェアは「非常に印象的に聞こえるが、まったく間違っている回答」を返すことが多いと評価している^[43]。

CNBCがChatGPTに「The Ballad of Dwight Fry」（アリス・クーパーの実在する曲）の歌詞について尋ねたときは、ChatGPTの回答には本物の歌詞より、ChatGPTが創作した歌詞のほうが多く含まれていた^[44]。ニューブランズウィック州について聞かれたChatGPTは、おおむね正しい回答を続けたが、タレントのサマンサ・ビーについて「ニューブランズウィック州出身の人物」（実際はトロント出身）に分類するという誤りをしていた^[45] 。天文物理学における磁性について聞かれたときは、自分から「ブラックホールの（強力な）磁場は、そのすぐそばで働く極めて巨大な重力によって生み出されます」と回答した（実際には降着円盤をもたないブラックホールには、脱毛定理として知られるように、まったく磁場が存在しないと考えられている）^[46] 。アメリカのビジネス雑誌『ファスト・カンパニー』がテスラの最終四半期に関するニュース記事の生成を依頼したときには、ChatGPTは整合性のある記事を作り出したが、そこで挙げられている会社の数字は捏造されたものだった^[47]。

間違った前提を与えて、ChatGPTがその前提を元にした作話をするかどうかを調べたパターンもある。カナダの宗教学者ハロルド・カワードの「ダイナミックな規範性というアイデア」について聞かれたChatGPTは、彼が『ダイナミックな規範性～聖書的・神学的解釈の一例～』という本を書いており、宗教的な原理も実際には常に変化の過程にあるという説明をしている。ChatGPTはそれが事実かと問い詰められても、この本が実在するという主張を曲げなかった^[48][49]。恐竜が文明を築いていたことの証拠を求められたときは、恐竜の使っていた道具の化石が残っていて「石に彫刻をするなどの原始的な形態の美術さえ発展させていた恐竜もいる」と主張した^[50][51]。「研究者は最近になって、小麦粉から作る美味しい揚げ菓子であるチュロスが…在宅手術において理想的な道具（である）ということを発見した」というプロンプト（回答のための作業要領）を与えられたChatGPTは、「学術誌の『サイエンス』に掲載された研究」によると、チュロスの生地は柔らかいので届きにくい場所にも形を変えれば届く手術用器具であり、香りもよく患者を落ち着かせる作用がある、と回答した^[52][53]。

2023年の時点で、アナリストたちは生成AIがハルシネーションに陥りがちな点は大規模言語モデルというテクノロジーにとっての大問題だと考えている。Googleの経営陣も、ハルシネーションによって生成AIが弱体化してしまう現象は、ChatGPTのライバルであるGoogle Bardにとって「根本的な」課題として位置付けている^[11][54]。

2023年5月、スティーブン・シュワルツがニューヨーク南部地区連邦地方裁判所に提出した、アビアンカ航空に対する訴訟の弁論要旨の中で、ChatGPTによって生成された6件の偽の判例を提出していたことが発覚した。シュワルツは、これまでChatGPTを使用したことはなく、ChatGPTの出力が捏造されている可能性を認識していなかったと述べ、ChatGPTは判例が存在しないことが発覚した後もその真正性を主張し続けた^[55]。これに対して、テキサス州北部地区連邦地方裁判所のブラントリー・スターは、人間によるレビューを受けていないAI生成の訴状の提出を禁止し、次のように指摘した^[56][57]。

生成AIプラットフォームは現状ではハルシネーションや偏見に陥りやすい。ハルシネーションに基づいて、引用や出典さえも捏造する。もう1つの問題は信頼性や偏見である。弁護士は個人的な偏見や先入観、信念を捨てて法律を忠実に守り依頼人の代理を務めることを誓うが、生成型人工知能はそのような誓いを立てる必要のない人間が考案したプログラミングの産物である。したがって、これらのシステムはいかなる依頼人、法の支配、米国の法律や憲法 (または前述のように真実) にも忠誠を誓わない。義務感、名誉、正義感に縛られず、そのようなプログラムは信念ではなくコンピューターコードに従って、道義ではなくプログラミングに基づいて動作する。

6月23日、P・ケビン・カステル判事はこの訴訟を棄却し、シュワルツともう一人の弁護士（シュワルツの以前の主張にもかかわらず、両者とも架空の判例を主張し続けていた）に悪意ある行為を理由に5000ドルの罰金を科した。カステル判事は、判決要旨に多数の誤りと矛盾があるとし、引用された判決の1つを「意味不明」で「ナンセンスに近い」と述べた^[58]。

2023年6月、銃の権利活動家でラジオパーソナリティのマーク・ウォルターズは、ChatGPTがウォルターズの訴訟について名誉毀損的な回答をしたとして、ジョージア州の裁判所でOpenAIを訴えた。問題の訴訟は、2023年5月にワシントン州司法長官ロバート・W・ファーガソンに対して、言論の自由を侵害したとして修正第2条財団によって提起されたものであったが、ChatGPTが生成した要約はそれとは全く似ておらず、ウォルターズが実際には就いたことのない修正第2条財団の役職に就いている間に横領と詐欺で告発されたと主張していた。生成AI分野の法律専門家ユージン・ヴォロクによると、OpenAIは名誉毀損コンテンツの作成に「実質的に貢献」した可能性が高いため、通信品位法230条の免責の対象外になる可能性が高いとのことである^[59]。

2023年11月、複数の俳優が国政政党「れいわ新選組」を応援している旨のメッセージを載せたまとめサイトが確認され、俳優の所属事務所、れいわ新選組が応援を否定する事態になった^[60][61]。サイトの作成者は「該当記事は生成AIに書かせたものであり、その芸能人が実際にれいわ新選組を応援しているかどうか確認せずに掲載してしまった」と説明している^[62][63]。

幻覚（ハルシネーション）現象はまだ完全には解明されていない。研究者らは、幻覚（ハルシネーション）は避けられないものであり、大規模言語モデルの本質的な限界であるとも提唱している^[78]。そのため、その発生を軽減するための研究が現在も行われている^[79]。特に、言語モデルはハルシネーションを引き起こすだけでなく、この問題を軽減するように設計されたものであっても、かえってハルシネーションを増幅させることが示された^[80]。