確率的オウム
From Wikipedia, the free encyclopedia
確率的オウム（かくりつてきオウム、英語: stochastic parrot）は、機械学習による大規模言語モデルはもっともらしい言語を生成できるものの、処理対象の言語の意味を理解してはいないという理論を説明する比喩である[1][2]。この用語はエミリー・M・ベンダーによって作られた[2][3]。2021年の人工知能研究論文「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 」（日本語: 確率的オウムの危険性について: 言語モデルは大きすぎることがあり得るのか?）において、ベンダー、ティムニット・ゲブル、アンジェリーナ・マクミラン-メジャー、マーガレット・ミッチェル (科学者)によって発表された[4]。
この用語は、ベンダー、ティムニット・ゲブル、アンジェリーナ・マクミラン-メジャー、およびマーガレット・ミッチェル（偽名「シュマーガレット・シュミッチェル」を使用）による論文「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜」で初めて使われた[4]。 筆者らは、巨大な大規模言語モデル (LLM) がもたらしうる環境的あるいは経済的なコストや、説明不可能な未知の危険なバイアスを持っている可能性、また虚偽の作成に使われる可能性を指摘した[5]。さらには、LLMは学習対象に含まれる概念を理解できないのだと主張した[5]。 ゲブルとミッチェルはこの論文を発表したことでGoogleを解雇されたとされ、Googleの従業員による抗議を引き起こした[6][7]。
「確率的オウム」という訳語のなかの「確率的」の英語表記「stochastic」は、「推測に基づく」または「ランダムに決定された」ということを意味する古代ギリシャ語の「stokhastikos」に由来する[8]。「オウム」は、LLMが意味を理解せず単に言葉を繰り返しているということを指す[8]。
ベンダーらの論文では、LLMが意味を考慮せずに単語や文を確率的に連鎖しているだけであるため、単なる「確率的オウム」なのだと主張されている[4]。
機械学習の専門家であるリンドホルムらによると、この比喩は次の二つの重要な問題を示すものである[1][2]。
- LLMは訓練されたデータに依存しており、単にデータセットの内容を確率的に繰り返しているに過ぎない。
- 出力は訓練データに基づいて生成されているのであり、LLMは自分が間違ったことや不適切なことを言っているかどうかを理解していない。
リンドホルムらは、質の低いデータセットやその他の制限により、機械学習に基づくシステムが危険なほど間違った結果を生み出すことがありうると指摘している[1]。
使用
2021年7月に、アラン・チューリング研究所がベンダーらの論文[4]に関する基調講演とパネルディスカッションを開催した[9]。2023年5月現在[update]、同論文は1,529の出版物で引用されている[10]。「確率的オウム」という用語は、法学[11]、文法[12]、ナラティブ[13]、および人文学の分野の出版物で使用されている[14]。著者らは、GPT-4のような大規模言語モデルに基づくチャットボットの危険性についての懸念を引き続き抱いている[15]。
確率的オウムは現在、AI懐疑論者が機械が出力の意味を理解していないことを指すために使用される造語であり、時には「AIに対する侮辱」として解釈される[8]。この用語はOpenAIのCEOであるサム・アルトマンが皮肉を込めて「i am a stochastic parrot and so r u (ぼくも君たちも確率的オウムじゃないか)」とツイートしたことでさらに広まった[8]。「確率的オウム」は、「ChatGPT」や「LLM」といった言葉を押しのけて、2023年のアメリカ方言学会によるAI関連の年間最優秀語に選ばれた[8][16]。
この用語は、一部の研究者によって、LLMは膨大な量の訓練データを通じて人間のようなもっともらしいテキストを生成するパターン処理システムであると説明するために使われる。しかし、LLMは言語を実際に理解していると主張する研究者も存在する[17]。