GPT-4
2023年の生成型言語モデル
From Wikipedia, the free encyclopedia
GPT-4（ジーピーティーフォー、Generative Pre-trained Transformer 4）とは、OpenAIによって開発されたマルチモーダル大規模言語モデルである[1]。2023年3月14日（米国時間）に公開された[2][3]。自然言語処理にTransformerを採用しており、教師なし学習によって大規模なニューラルネットワークを学習させ、その後、人間のフィードバックからの強化学習（RLHF）を行っている[4]。
| 作者 | OpenAI |
|---|---|
| 初版 | 2023年3月14日 |
| 前身 | GPT-3.5 |
| 後継 | GPT-4o |
| 種別 | 自己回帰モデル transformer 言語モデル |
| ライセンス | プロプライエタリ |
| 公式サイト |
openai |
なお本項では、GPT-4の改良版モデルであるGPT-4 Turboについても触れる。
概要
OpenAIはGPT-4を発表した記事において、「GPT-4はGPT-3.5よりも遥かに創造的で信頼性が高く、より細かい指示に対応できる」と紹介している[2]。GPT-4は25,000語以上のテキストを同時に読み取ることができ、これは以前のバージョンに比べると大幅に改良されている[5][6]。
GPT-4は「安全性のリスク」と「競争上のリスク」を考慮し、あえてパラメータを明示するのを控えている。技術報告書内では人間とAIのデータを用いて強化学習を行ったという事実以外は、モデルサイズ、ハードウェア、アーキテクチャ、トレーニング方法、訓練データ、人間のフィードバックからの強化学習に何人月を投じたかなどの開示はしていない[4]。
そのため、GPT-4の正確なパラメータ数は不明である。ザ・ヴァージは、GPT-3は1,750億個のパラメータを持つのに対し、GPT-4は100兆個のパラメータを持つと報じていたが、前述の理由で、OpenAIのCEOであるサム・アルトマンはこれを「まったくのでたらめだ」と否定している[7]。
使用方法
GPT-4はChatGPT PlusユーザーとAPI経由にて利用可能である[1]。
マイクロソフトは公表前からMicrosoft CopilotにGPT-4を採用しており[8]、今後はWord、Excel、PowerPoint、Outlook、Teamsなどに搭載を予定している[9]。
言語学習アプリであるDuolingoにも採用されており、現在は英語話者向けにスペイン語、フランス語などの学習を支援している[10]。
モデル
2種類のモデルがある[11]。
- gpt-4
- gpt-4-32k
透明性
前述の通り、OpenAIはGPT-4の詳細な性能を開示していない。これはいままでOpenAIがオープンソース的な方針を取ってきた事実[12]からすると、正反対の方針であると言える。これはGPTシリーズに限ったことではなく、OpenAIに限ったことでもない。現在、透明性の問題はAIモデリング業界全体の課題となっている[13][14]。
多くの人工知能研究者はこの「閉鎖的なアプローチ」に対して、安全性が損なわれ、バイアスがかかる可能性があるとして批判をしている[15][16]。HuggingFace社の研究者であるサーシャ・ルッチョーニは、閉鎖的な研究はOpenAIにとっては十分かもしれないが、科学界にとっては「デッドエンド」でしかないと強く批判している[17]。また、アレン人工知能研究所の研究者であるプリトヴィラージ・アマナブルは「GPT-4はもはや『製品』であり、『科学』ではなくなった」と述べている[18]。OpenAIの設立時に多額の資金提供を行ない、共同設立者でもあるイーロン・マスクは「OpenAIは名前の通り、オープン（Open）であることを主旨として出資したのだが、今のOpenAIはマイクロソフトに管理された営利企業であり、閉鎖的であるため、全くもってオープンではない。これは私の意向に反する」としている[19]。アラン・チューリング研究所の研究者であるワリド・マグディは「GPT-4をオープンソースにしないのは構わないが、それならば会社名を『Closed AI』に変更すべき」と主張している[12]。
これらの批判に対し、OpenAIの共同設立者・主任研究員であるイリヤ・サツケバーは、これまでOpenAIが人工知能研究に対してオープンソースのアプローチを取っていたのは全くの誤りだったとしており、「GPT-4はこれまでに比べると優れた言語モデルであるが、将来的にはさらに性能が向上することが予想され、そうすれば悪用され、人類に危害を与えるのは火を見るより明らかであり、そうしたことを想定すればオープンにしたくはない」と述べており、また「強力な人工知能、つまり汎用人工知能がとてつもなく強力な知能を持つと考えれば、オープンソースの形を取るのは無意味で悪い考えであると数年以内に誰もが知ることになる」と主張している[15]。
性能
人間向けのテスト
GPT-4には画像自体を解析して分析・要約する高い能力がある。GPT-4に司法試験を解かせたところ、人間の受験者と比べても上位10％の成績を叩き出しており、かなりの確率で合格している。また、アメリカの大学入試テストとして使われるSATにおいては、1600点中1410点（数学テスト700点、リーディングテスト710点）を獲得している[20]。これらの点数は特別な訓練なしで獲得したものである。
アメリカの医師試験として使用されるUSMLEにおいては、3段階のテストで医師としての適性を図るという方法をとっている。GPT-4にUSMLEを解かせたところ、3段階の試験を突破し、合格点数を20点上回る点数を出した[21]。この結果は前述のテストと同じように、特に特別な訓練なしで獲得したものである。また、この点数は医療用の人工知能として開発されたMed-PaLMを上回る結果である。
プログラミング
GPT-4は人間の言語（自然言語）指示から、直接ソースコードを出力することが可能である。JavaScriptにて「テトリス」や「ポン」を作成するように命じられれば60秒で、「パックマン」は90秒で完全にプレイ可能なコードを作成できる[22][23]。
汎用人工知能への可能性
とはいえ、OpenAIはGPT-4の性能を完璧には程遠いと認めており、改良の余地があるとしている。というのも人工知能分野において「ハルシネーション（幻覚）」と呼ばれる、間違った正解を出力してしまう問題が完全には解決されていないからである[24]。
そのため、あらゆる能力において人間と同レベルの知能を持つ人工知能、いわゆる汎用人工知能の到達には至っていないと考えられるが[25]、マイクロソフトの人工知能研究者は、この大規模言語モデルが「驚くほど人類の能力に近付いている」と言及しており、まだまだ不完全で改良の余地があるとしながらも「汎用人工知能を実現する第一歩である」としている[26]。
GPT-4 Turbo
GPT-4 Turbo（ジーピーティーフォー ターボ、Generative Pre-trained Transformer 4 Turbo）は、GPT-4のアップグレード版であり、より安価で高性能なGPT-4のバージョンとして設計された[27][28][29]。
2023年11月6日（米国時間）にOpenAIが初開催した年次開発者カンファレンス「DevDay」で発表された[28][29]。その後、プレビュー版の公開を経て[30]、2024年4月9日に正式版「gpt-4-turbo-2024-04-09」がリリースされた。
GPT-4 Turboではコンテキストウィンドウが拡大され、12万8,000トークンへ増加した[28][29]。これは約9万6000語、約300ページ分に相当し、一度に処理できるテキスト量が大幅に増加したことで、複雑な文脈の理解力や長文生成力が高められた[28]。
また学習データについても、従来のGPT-4が2021年9月までの情報であったのに対し、GPT-4 Turboは2023年4月までの情報を持ち、より新しい知識に基づいた回答を行えるようになった[28][29]。
さらに、GPT-4 Turboは性能を高めつつ価格を抑えた低コストモデルとされており、1トークン当たりの価格は従来のGPT-4に比べ、入力は1/3、出力は1/2に抑えられている[28][29]。
2024年4月12日（米国時間）、OpenAIは公式Xアカウントで、ChatGPTの有料プラン「ChatGPT Plus」「ChatGPT Team」「ChatGPT Enterprise」で、GPT-4 Turboを提供開始したことを発表した[31]。
