GPT-3
2020年の生成型言語モデル
From Wikipedia, the free encyclopedia
GPT-3（ジーピーティースリー、Generative Pre-trained Transformer 3）は、OpenAIが開発したGPTシリーズの大規模言語モデル (LLM) 。GPT-2の後継として2020年6月11日にベータ版としてリリースされた、GPTシリーズの第3世代の言語予測モデルである[1]。
OpenAIは、2020年5月28日の研究論文でGPT-3について発表[2]、同年6月11日にプライベートベータ版としてAPIを提供開始[1][3]。GPT-3は、生成的人工知能による自然言語処理 (NLP) システムにおけるトレンドの一翼を担った[4]。
なお本項では、GPT-3の後継モデルであるGPT-3.5についても触れる。
概要
GPT-3を紹介する原論文は、2020年5月28日、31人のOpenAIの研究者と技術者が発表した[4]:34。彼らは論文の中で、GPT-3の潜在的な危険性を警告し、その危険性を軽減するための研究を呼びかけた[4]:34。GPT-3が生成するテキストの品質は、それが人間によって書かれたものであるかどうかを判断することは困難なほど高く、利点と危険性の両面があるとされる[5]。
GPT-3は自己回帰型の言語モデルで、ディープラーニング（深層学習）により人間の文章のようなテキストを生成する。プロンプト（命令）として最初のテキストを与えると、それに応答し継続するテキストを生成する。なお、GPT-3系はテキスト処理特化モデルであり、後継のGPT-4等とは異なり、画像や音声などを同時処理するマルチモーダル能力は持たない。
アーキテクチャは、デコーダのみのTransformerネットワークで、2048トークン長のコンテキストと、1750億個のパラメータという前例のないサイズを持ち、保存するのに800 GBを必要とした。このモデルは、生成的な事前学習を用いて訓練され、以前のトークンに基づいて次のトークンが何であるかを予測するように訓練をされる。このモデルは、多くのタスクに対し、強力なゼロショット学習と少数ショット学習を実証した[6]。著者らは、自然言語処理（NLP）における言語理解性能が、GPT-nのラベル付与されていないテキストの多様なコーパスに対する言語モデルの生成的事前学習と、それに続く各特定タスクにおける識別的な微調整のプロセスによって向上したことを説明した。これにより、人間による監督や、時間のかかる手作業でのラベル付けが不要になった[6]。
2020年9月22日、マイクロソフトは、GPT-3の「独占的な利用」を許諾したと発表した。他の企業が公開APIを使用して出力を受け取ることは引き続き可能だが、GPT-3の基礎モデルにアクセスできるのはマイクロソフトのみである[7]。
背景
エコノミスト紙によると、アルゴリズムの改良、強力なコンピューター、デジタル化されたデータの増加が、機械学習の革命を促進し、2010年代の新しい技術によって、言語の操作を含むタスクの急速な改善をもたらしたという[8]。ソフトウェアモデルは、「脳の神経アーキテクチャに大まかに基づいた構造」で、数千から数百万の事例を使用して学習するように訓練される[8]。自然言語処理（NLP）で使用されるアーキテクチャの1つは、2017年に初めて登場した深層学習モデルTransformerに基づくニューラルネットワークである。GPT-nモデルは、Transformerに基づく深層学習ニューラルネットワーク型のアーキテクチャである[9]。入力されたテキストを処理、マイニング、整理・結合し、対比し、質問に正しく答えることができるNLPシステムは多数存在する[10]。2018年6月11日、OpenAIの研究者と技術者は、データセットを介して膨大で多様なテキストのコーパスを用いて事前学習できる生成モデル（言語モデル、人工知能システム）に関する、彼らが生成的事前学習（generative pre-training、GP）と呼ぶプロセスの原論文を発表した[6]。著者らは、GPT-nでラベル付けされていない多様なテキストのコーパスを用いて言語モデルを生成的に事前学習し、その後、特定のタスクごとに識別的に微調整するプロセスを通じて、自然言語処理（NLP）における言語理解の性能が向上したことを説明した。これにより、人間による監督や、時間のかかる手作業によるラベル付けが不要になった[6]。
2020年2月、マイクロソフトは「170億個のパラメータを持つ、これまでに発表された最大の言語モデル」と主張するTuring Natural Language Generation（T-NLG）を発表した[11]。これは、テキストの要約や質問への回答を含む、さまざまタスクで、他のどの言語モデルよりも優れた性能を発揮した。
訓練と能力
2020年5月28日、OpenAIの31人の技術者と研究者のグループによるarXivの査読前論文で、第3世代の「最先端の言語モデル」であるGPT-3の開発について説明された[4][5]。
チームは、GPT-3の容量をその前身のGPT-2[13]よりも2桁以上増やし、GPT-3をこれまでで最大の非スパース言語モデルにした（スパースモデルでは、パラメータの多くが定数に設定されているため、パラメータの総数が多くても、意味のある情報は少なくなる[4]:14[14]。）。
GPT-3は構造的に前身モデルと類似しているので、精度が向上したのは容量とパラメータ数の増加によると考えられる[15]。GPT-3の容量は、当時知られていた2番目に大きなマイクロソフトのTuring NLGの10倍になる[5]。
GPT-3は、ゼロショット、少数ショット、ワンショットの学習を行うことができる[4]。
モデル
データセット
GPT-3の重み付き事前学習データセットの60%は、Common Crawlのフィルタ処理された版から取得されたもので、4,100億バイト対符号化トークンで構成される[4]:9。その他の情報源としては、WebText2からの190億トークン（加重合計の22%）、Books1からの120億トークン（8%）、Books2からの550億トークン（8%）、Wikipediaからの30億トークン（3%）がある[4]:9。
| データセット | トークン数 | 学習データ中の割合 |
|---|---|---|
| Common Crawl | 4100 億 | 60% |
| WebText2 | 190 億 | 22% |
| Books1 | 120 億 | 8% |
| Books2 | 550 億 | 8% |
| Wikipedia | 30 億 | 3% |
能力
GPT-3は数千億個の単語で訓練されており、CSS、JSX、Pythonなどのプログラミング言語でコーディングすることも可能である[3]。GPT-3の学習データはすべてを網羅しているため、個別の言語タスクのために訓練を追加する必要はない[3]。この学習データにはときどき有害言語が含まれており、GPT-3は学習データを模倣した結果、有害な言葉を発生することがある。ワシントン大学の研究によると、GPT-3は、同様の自然言語処理モデルであるGPT-2やCTRLと同程度の毒性基準で有毒言語を生成することがわかった。OpenAIは、GPT-3が生成する有毒言語の量を制限するために、いくつかの戦略を実装した。その結果、GPT-3は、前身モデルであるGPT-1よりも有毒言語の生成が少なくなったものの、Wikipediaのデータのみで学習した言語モデルであるCTRL Wikiよりも有毒言語は生成が多く、毒性基準も高かった[19]。
2020年6月11日、OpenAIは、ユーザーがこの新しい技術の長所と限界を探るため、使いやすいGPT-3 API「機械学習ツールセット」へのアクセスを要求できることを発表した[20][21]。招待状には、このAPIは通常の単一のユースケースではなく、ほぼあらゆる英語のタスクを完了できる汎用的なテキスト入力、テキスト出力型のインターフェースを備えていると説明されている[20]。OpenAI GPT-3 APIの非公開の早期リリースにアクセスしたあるユーザーによると、GPT-3は、いくつかの簡単なプロンプトだけで驚くほど意味の通ったテキストを書くことができ「不気味なほど優秀だった」という[22]。最初の実験では、米国の80名の被験者に、200語程度の短い記事が人間によって書かれたものか、GPT-3によって書かれたものかを判断するように求められた。その結果、被験者は52%の確率で正しく判断し、ランダムに推測するよりもわずかに優れていた[4]。
2021年11月18日、OpenAIは、APIに無制限にアクセスできるように保護手段を実装したことを発表した[23]。OpenAIは、開発者がOpenAIのコンテンツポリシーを順守するのに役立つコンテンツモデレーションツールを提供した[24]。2022年1月27日、OpenAIは、InstructGPTと総称される最新のGPT-3言語モデルが、同社のAPIで使用されるデフォルトの言語モデルになることを発表した。OpenAIによると、InstructGPTは、より適切に指示に従うことで、よりユーザーの意図に沿ったコンテンツを生成し、でっち上げの事実を減らし、有害なコンテンツをいくらか少なくできるとされた[25]。
GPT-3は「人間の評価者が人間が書いた記事と区別するのが難しいニュース記事を生成できる[5]」ため、GPT-3には「言語モデルの有益な応用と有害な応用の両方を進める可能性がある[4]:34」と評される。2020年5月28日の論文で、研究者らは「GPT-3が潜在的に持つ有害作用[5]について詳細に説明した。それには誤った情報、スパム、フィッシング、法律や政府のプロセスの悪用、不正な学術論文の作成、ソーシャルエンジニアリングの口実が含まれている[4]。研究者らはこれらの危険性への注意を喚起し、リスクを軽減するための研究を呼びかけた[4][26]:34。また、OpenAIのサム・アルトマンは、彼自身が「GPT-3誇大広告」と呼ぶものを批判し、GPT-3には「深刻な弱点があり、時には非常に愚かな間違いを犯す。AIは世界を変えようとしているが、GPT-3はごく初期を垣間見るに過ぎない。」と認めている[27]。
2022年6月、Almira Osmanovic Thunströmは、GPT-3が自身に関する論文の主な著者であり、発表のために投稿し[28]、査読を待っている間に事前公開されたと記した[29]。
モデル一覧
この節の出典[30]
反応
応用
- GPT-3、特にCodexモデルは、さざまざなコードエディタやIDEで使用できるコード補完および生成ソフトウェア「GitHub Copilot」の基盤となっている[32][33]。
- マイクロソフトの特定の製品では、従来の言語を公式なコンピュータコードに変換するために、GPT-3が使用されている[34][35]。
- GPT-3は、CodexDB[36]で、SQL処理用のクエリ固有のコードを生成するために使用されている。
- GPT-3は、Jason Rohrerによる「Project December」というレトロなテーマのチャットボットプロジェクトで使用されている。このプロジェクトはオンラインでアクセス可能で、ユーザーはGPT-3の技術を使用してさまざまなAIと会話することができる[37]。
- ガーディアン紙において、「AIは人間に無害である」という記事を書くためにGPT-3が使用された。いくつかのアイデアを与えられ、8つの異なるエッセイを作成し、最終的に1つの記事に統合された[38]。
- テキストベースのアドベンチャーゲームを生成するAI DungeonでGPT-3が使用された。その後、OpenAIが生成コンテンツに関するポリシーを変更したため、競合するモデルに置き換えられた[39][40]。
- スタートアップ企業のCopy.ai[41]、Jasper.ai[42]、TextCortex AI[43]およびHypotenuse AIによって[44]、コピーやその他のマーケティング資料の作成を支援するためにGPT-3が利用されている。
- ドレクセル大学による2022年の研究では、GPT-3ベースのシステムが、アルツハイマー病の初期兆候のスクリーニングに使用できることが示唆された[45][46]。
論評
- 2020年8月4日付『ニューヨーク・タイムズ』紙のレビューで、Farhad Manjooは、コンピュータコード、詩、散文を生成するGPT-3の能力は、単に「驚くべき」「不気味」「謙虚」だけでなく「少しばかり恐ろしい」と述べた[47]。また、2022年4月15日付『ニューヨーク・タイムズ』紙では、GPT-3の能力について、人間と同等の流暢さで独自の散文を書くことができると論評した[48]。
- ウェブサイト「Daily Nous」は、9人の哲学者によるGPT-3についての記事を紹介した[49]。オーストラリアの哲学者デイヴィッド・チャーマーズは、GPT-3を「これまでに作られた最も興味深く、重要なAIシステムの一つ」と評した[50]。
- 『WIRED』は、GPT-3が「シリコンバレー全体に悪寒を引き起こした」と述べた[51]。
- 「The National Law Review」は、GPT-3は「より大きなプロセスにおける印象的な一歩」であり、OpenAIや他の企業は「より汎用的な知能を目指す取り組みを続けながら、この力のすべてに有用な応用を見つけている」と述べている[52]。
- 「MITテクノロジーレビュー」の記事で、共同執筆したディープラーニング評論家のGary Marcusは[53]、GPT-3の「世界の理解はしばしば深刻にずれており、GPT-3の言うことは決して信用できない」と指摘した[54]。著者らによると、GPT-3は、各単語の背後にある意味を理解せずに、単語間の関係をモデル化しているという。
- Facebook AIラボの責任者であるJerome Pesentiは、GPT-3は安全ではないと述べ、ユダヤ人、女性、黒人、およびホロコーストについて議論するよう求められたときに、システムが生成した性差別、人種差別、およびその他の偏見のある否定的な言葉を指摘した[55]。
- フランスの医療技術を専門とするスタートアップ企業Nablaは、OpenAI自身がそのような使用に対して警告を発していたにもかかわらず、GPT-3を医療用チャットボットとしてテストした。予想通りGPT-3にはいくつかの限界があり、たとえばメンタルヘルスの問題についてGPT-3の応答をテストしたとき、AIは模擬患者に自殺するよう勧めた[56]。
- ノーム・チョムスキーは、GPT-3の科学的価値について次のような懐疑的な見方を示した。「これは言語モデルではない。不可能な言語に対しても、実際の言語に対しても同様に機能する。したがって、もし言語モデルとして意図されてたものであるならば、通常の科学的基準によって反論される。（中略）おそらく、何らかの目的には有用かもしれないが、言語や認知一般については何も教えてくれないようだ[57]」。
- ルチアーノ・フロリディとMassimo Chiriattiは「良質で意味深い人工産物を安価に生産することの危険性」を強調した[58]。
批判
GPT-3の構築者であるOpenAIは、もともと、2015年に非営利法人として設立された[59]。2019年、OpenAIは、このモデルがフェイクニュースを永続させるという懸念を挙げて、それまでのオープンソースの慣習を破り、GPT-3の前身モデルを公開しなかった。OpenAIは最終的に、オリジナルなモデルの8%のサイズのGPT-2を公開した[60]。同年、OpenAIは営利企業となるため再編成された[61]。
2020年、マイクロソフトは、OpenAIへ数十億ドルを投資し、マイクロソフトの製品とサービス向けにGPT-3の独占的ライセンスを取得したと発表した。この契約により、OpenAIは公開APIを提供し、ユーザーはGPT-3にテキストを送信してモデルの出力を受け取ることができるが、GPT-3のソースコードにアクセスできるのはマイクロソフトのみとなる[7]。
GPT-3のような大規模な言語モデルは、Googleの一部のAI倫理研究者から、モデルの訓練と保存が環境に与える影響についての批判を受けており、2021年にTimnit GebruとEmily M. Benderが共著した論文で詳述されている[62]。
GPT-3やその他の言語ジェネレーターに基づく自動文章作成技術の使用が増加していることから[いつ?]、学問的誠実性に関する懸念が高まり[63]、大学や学校が何をもって剽窃（ひょうせつ、盗作）などの学問的不正行為とみなすのかという問題が生じている[64]。
GPTは、12年間に6,000万ドメインから収集された著作権保護された記事、インターネット上の投稿、ウェブページ、書籍のコレクションであるCommon Crawlデータセットのデータを用いて構築された。TechCrunchによるとこの学習データには、BBC、The New York Times、Reddit、オンライン書籍の全文などの著作物が含まれているという[65]。OpenAIは、米国特許商標庁（USPTO）からの「人工知能イノベーションの知的財産保護に関する2019年のコメント要請」に対する回答で、「現行法のもとでは、（GPTモデルなどの）AIシステムの訓練は公正利用に合致する」と主張したが、「この点に関する適切な判例がないことから、OpenAIや私たちのような他のAI開発者は、かなりの法的不確実性とコンプライアンス・コストに直面している」と述べている[66]。
GPT-3.5
GPT-3.5（ジーピーティースリーポイントファイブ、Generative Pre-trained Transformer 3.5）は、OpenAIが2022年にリリースしたGPT-3の後継モデル。2022年11月30日に同社が発表した生成AIチャットボット「ChatGPT」用として、GPT-3をベースに人間との対話能力向上のためのファインチューニング（追加学習）を行ったモデルであり、ChatGPTリリース当時の基盤となった大規模言語モデル (LLM) である。2024年にChatGPTでの提供が終了されるまで、ChatGPTに始まる生成AIチャットボットの世界的ブームを支えた言語モデルであった。
なお、OpenAIは、GPT-3.5をGPT-3に含めていない[67]。GPT-3.5の後継モデルはGPT-4である 。
沿革
2022年3月15日、OpenAIは、GPT-3とCodexのAPIに、編集と挿入機能を持たせた新しいバージョンを「text-davinci-002」および「code-davinci-002」という名前で公開した[68]。これらのモデルは、以前のバージョンよりも高性能であると説明され、2021年6月までのデータを用いて訓練された[69]。2022年11月28日、OpenAIは「text-davinci-003」を公開した[70]。
2022年11月30日、OpenAIはこれらのモデルを「GPT-3.5」シリーズに属すものとし[71]、同日付で、GPT-3.5シリーズのモデルを微調整したChatGPTをリリースした[72]。
2023年6月13日、OpenAIは「gpt-3.5-turbo-16k」と関数呼び出し (function calling) を追加した[73]。関数呼び出しにより、ChatGPTのプラグインのようなことが、ChatGPTの外で実行できるようになった。
GPT-3.5のモデル
この節の出典[74]
- 会話用
- gpt-3.5-turbo-0125：2024年1月25日リリース。精度とフォーマット追従性を向上した最終世代モデル。
- gpt-3.5-turbo-1106：2023年11月6日リリース。16kトークン対応、JSONモードや並列関数呼び出し対応。
- gpt-3.5-turbo-0613：2023年6月13日リリース。関数呼び出し (function calling) 対応モデル。
- gpt-3.5-turbo-16k：2023年6月13日リリース。コンテキストウィンドウを16kトークンに拡張したモデル。
- gpt-3.5-turbo：2023年3月1日リリース。GPT-3.5 Turbo初代モデル。ChatGPT向けに低コストで提供開始。使用可能な文脈は最長4,096トークン。
- 文章生成用
- gpt-3.5-turbo-instruct：2023年9月19日リリース。補完 (completions) モデル。「text-davinci-003」の後継。
- text-davinci-003：2022年11月28日リリース、2024年1月4日提供終了[31]
- text-davinci-002：2022年3月15日リリース、2024年1月4日提供終了[31]
- プログラミング用
- code-davinci-002：2022年3月15日リリース、2022年3月15日、OpenAI Codexの主力モデルとしてAPIをリリース。2024年6月14日提供終了。
