大規模言語モデル

事前学習データセット

大規模言語モデル（LLM）は通常、さまざまな分野や言語にわたる大量のテキストデータで事前学習が行われる^[7]。著名な事前学習データとしては、Common Crawl、The Pile（英語版）、MassiveText^[8]、Wikipedia、GitHubなどが知られている。大半のオープンソースのLLMは一般公開されているデータを利用しているが、非公開のデータで事前学習が行われることもある^[9]。スキャンした書籍も使われていて、例えばAnthropicのClaudeは2025年までに数百万冊の書籍をスキャンして訓練データとして使用している^[10]。アメリカでは古本を購入してスキャンして訓練データとして使用することは合法であるが、Anthropicは2024年に700万点のインターネットに違法アップロードされている海賊版の書籍も訓練データとして使用していたが、これに対してはAnthropicは損害賠償の支払いを行った^[11]。

事前学習データは、重複排除、毒性が高いシーケンスの除外、低品質データの破棄など、生テキストをさまざまな手順で前処理して作成される^[12]。

LLMでは事前学習データを広範に使用するため、事前学習データに評価データが混入すると、ベンチマーク評価時（交差検証）のモデル性能に影響を与えるデータ汚染が起こる^[13]。例えば、国際数学オリンピックのアメリカ予選のAIMEの過去問はベンチマークとして使用されているが、AnthropicのClaude Opus 4.8はその答えを知ったうえで問題を解いていて、ベンチマークとして機能していない^[14][15]。

テキストデータの蓄積は年率7%で増加しており、2024年6月現在、Epoch AIは事前学習に使える低品質なデータを除いた後のデータサイズを以下のように推定している。英語の場合は約0.8語/トークンである。2028年頃にGPUの性能の方が良くなり全てのテキストデータを使い切れてしまう状態になると推定している。以下Tは兆（trillion）のこと。^[16][17]

• Common Crawl - 130Tトークン
• Google 検索がインデックスしているウェブページ - 510Tトークン
• ウェブ全体 - 3100Tトークン
• 画像 - 300Tトークン
• 動画 - 1350Tトークン

事後学習データセット

次に来るべき単語を事前学習した後、通常、大規模言語モデルは事後学習が行われる。事後学習の1つの教師ありファインチューニング（supervised fine-tuning）では、質問文と模範解答のペアを与え、そのような回答をするように訓練される。この事後学習でも大規模言語モデル用の大量で多様なデータを使用して訓練が行われる。

スケーリング則

一般にLLMは、モデルの大きさ、訓練データセットの大きさ、訓練費用、訓練後の性能という4つのパラメータにより特徴づけられる。これらの4つの変数はそれぞれ実数で正確に定義することができ、経験から「スケーリング則（scaling laws）」と呼ばれている単純な統計的法則（英語版）によって関係していることがわかっている。

Google DeepMindの2022年の研究では、両対数学習率（英語版）のスケジュールで1エポックで自己回帰的な訓練を行ったTransformerの大規模言語モデルの場合のスケーリング則（Chinchilla（英語版）スケーリング則）を次のように表している^[18]。$${\displaystyle {\begin{cases}C=C_{0}ND\\L=E+{\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}\end{cases}}}$$

ここで、変数は次のとおりである。

• ${\displaystyle C}$：モデルの訓練に掛かる費用（FLOPs単位）
• ${\displaystyle N}$：モデルのパラメータ数
• ${\displaystyle D}$：訓練データセットのトークン数
• ${\displaystyle L}$：テストデータセットで訓練されたLLMにより達成される、トークン当たりの平均の負対数尤度損失（ナット/トークン）

各パラメータは以下の通り。

• ${\displaystyle C_{0}=6}$、すなわち、1つのトークンで訓練するにはパラメータごとに6 FLOPsの費用がかかる^[19]。自動微分において、フォワードが積和演算なので2 FLOPs、リバースが4 FLOPsのため、合計6 FLOPsである。ここで、訓練費用は推論費用よりもはるかに高いことに注意を要する。推論費用は、KVキャッシュをはじめとした細かい話を無視すると、おおよそ （モデルのパラメータ数 N）×（入出力のトークン数の合計）× 2 FLOPsであり、入出力のトークン数の合計は訓練データのトークン数よりもはるかに少ないので推論費用の方が安くなる。ただし、広く使われているモデルの場合、全ユーザーの累計入出力のトークン数は訓練データよりも多くなり、推論費用は訓練費用よりも高くなる。もし、それが成立しない場合は、一般的なトークン単位の課金方式のビジネスの場合、その事業は投資を回収できていない。

それ以外のパラメータは曲線あてはめにより以下が得られた。

• ${\displaystyle E=1.69,A=406.4,B=410.7,\alpha =0.34,\beta =0.28}$

最善解は以下になる（論文の表3）。

• N = 1B の場合、D = 20.2B トークン、C = 1.21e+20 FLOPs
• N = 1T の場合、D = 21.2T トークン、C = 1.27e+26 FLOPs
• N = 10T の場合、D = 216.2T トークン、C = 1.30e+28 FLOPs

D / N は21トークン/パラメータ前後になる。Google DeepMindの論文より前のモデルは D / N が1～2トークン/パラメータあたりのものが多かったが（論文の表1）、それは訓練データが少なすぎると指摘している。Common CrawlのD = 130Tトークンに対応するNは6Tであり^[16]、2026年7月現在、オープンウェイトモデルで最もパラメータ数が多いのはKimi K3の2.8Tであり、あともう少しGPUの性能が上がると6Tに到達する。なお、これは C を固定したうえで D と N を最適化しているのであって、予算（C）が十分あって意図的にパラメータ数 N の少ないモデルを作るのならば、訓練データ D を増やした方が改善する。例えば2024年のGoogleのGemma 2の場合、N = 2B, 9B, 27BのモデルのD/Nは1000, 900, 500トークン/パラメータである^[20]。

2026年8月8日現在、Lambda Labs では NVIDIA B200 が $6.69/h で借りられる^[21]。NVIDIA B200 は bfloat16 の密行列の場合2.25PFLOPSなので^[22]、実効効率を40%とした場合、6.69 / (2.25e15 * 3600 * 0.4) = $2.06e-18/FLOPs となる。C = 1.27e+26 FLOPs は $262,000,000 つまり400億円になる。

創発的能力

一般に、さまざまなタスクに対する大規模モデルの性能は、同様の小規模モデルの性能に基づいて推定することができるが、ときには、下流におけるスケーリング則が「破綻」し^[23]、大規模モデルが、小規模モデルとは異なる速度で突然に能力を獲得することがある。これは「創発的能力」（英: emergent abilities）として知られているもので、これまでも多くの研究の対象であった。研究者は、こうした能力は「小規模モデルの性能を外挿することでは予測できない」ことが多いと指摘している^[4]。このような能力は、プログラムされたり設計されたりするものではなく、むしろ「発見される」ものであり、場合によっては、LLMが一般公開されて初めて発見されることすらある^[5]。これまでに数百もの創発的能力が報告されている。たとえば、多段階の算術、大学レベルの試験、単語の意図する意味の特定^[4]、思考の連鎖^[4]、国際音声記号の解読、マス埋めパズル、ヒングリッシュ（ヒンディー語と英語の混成語）の段落内の不快な内容の特定、およびスワヒリ語のことわざに相当する英語の生成などがある^[24]。

Schaefferらは、創発的な能力は予測不可能な形で獲得されるのではなく、滑らかなスケーリング則に従って予測通りに獲得されると主張している^[25]。著者らは、LLMが多肢選択問題を解く統計的トイモデルを検討し、他の種類のタスクを考慮して修正されたこの統計モデルが、これらのタスクにも適用できることを示した。

ここで、${\displaystyle x}$ をパラメータ数、${\displaystyle y}$ をモデルの性能とする。

• ${\displaystyle y={\text{average }}Pr({\text{correct token}})}$のとき、${\displaystyle (\log x,y)}$ は指数曲線（1でプラトーに達する前）となり、創発のように見える。
• ${\displaystyle y={\text{average }}\log(Pr({\text{correct token}}))}$ のとき、${\displaystyle (\log x,y)}$ のプロットは直線（0でプラトーに達する前）となり、創発には見えない。
• ${\displaystyle y={\text{average }}Pr({\text{the most likely token is correct}})}$ のとき、${\displaystyle (\log x,y)}$ はステップ関数となり、創発のように見える。

先駆者

大規模言語モデルの基本的な考え方は、単純で反復的なアーキテクチャを持つランダムな重みを持つニューラルネットワークを出発点とし、大規模な言語コーパスで訓練することである。

この最も初期の例のひとつがエルマンネットワークで^[26]、「犬が男を追いかける」のような単純な文でリカレントネットワークを訓練した。訓練したネットワークは、各単語をベクトル（内部表現）に変換した。次にこれらのベクトルを接近度によって木構造にクラスタリングした。その結果、ツリーはある構造を示すことがわかった。動詞と名詞はそれぞれ別の大きなクラスターに属していた。名詞のクラスター内には、無生物（inanimates）と生物（animates）の2つの小さなクラスターがある、などである。

別の方法として、自然言語理解を記号プログラムによってコンピュータにプログラムする論理AI（英語版）があった。この方法は1990年代まで主流であった。単純な機構と大規模なコーパスによって自然言語を学習するという着想は1950年代に始まったが、商業的に最初に成功したのは、統計的機械翻訳（英語版）のためのIBMアライメントモデル（英語版）（1990年代）であった。

Transformerフレームワークへの進化

初期の「大規模」言語モデルは、長期・短期記憶（LSTM、1997年）などのリカレントアーキテクチャを使用して構築された。AlexNet（2012年）が画像認識における大規模ニューラルネットワークの有効性を実証した後、研究者は大規模ニューラルネットワークを他のタスクに適用した。2014年には、2つの主要な手法が提案された。

• seq2seqモデル（3億8,000万パラメータ）は、2つのLSTMを使用して機械翻訳を行い^[27]、単純化されたアーキテクチャ（ゲート付き回帰型ユニット、GRU）で同じ手法が使われた（1億3000万パラメータ）^[28]。
• アテンション（注意機構とも呼ばれる）は、seq2seqモデルを改良し、2つのLSTMの中間に「アテンション機構」（入力要素間の関連を重みづけし重要部分を強調する仕組み）を追加するものとして提案された^[29]。これはTransformerのアテンション機構とは異なるが、同様のタスクを実行する^[要出典]。

2016年、Google翻訳はその機構を統計的機械翻訳（英語版）からニューラル機械翻訳（英語版）へと変更した。これは、LSTMとアテンションによるseq2seqである。10年かけて構築された以前のシステムよりも高いレベルの性能に到達するのに9カ月を要したという^[30][31]。

2017年の論文「Attention is all you need」^[32]では、アテンション機構を抽象化して^[29]、アテンション機構を中心としたTransformerアーキテクチャを構築した。seq2seqモデルは、他のリカレントネットワークと同様、入力シーケンスを一度に1つずつ処理しなければならないのに対し、Transformerアーキテクチャはシーケンス上で並列に実行することができる。これによって、より大規模なモデルを訓練できるようになった。

BERTとGPT

BERT（2018年）^[33]は双方向Transformerであり、GPT（2018年）^[34][35]は単方向（自己回帰）Transformerである。これらは2023年時点の主要なアーキテクチャである。

モデル

大規模言語モデルでは、2018年以降、逐次データに対する標準的なディープラーニング手法となったTransformer（トランスフォーマー）アーキテクチャが最もよく使用されている^[2]。

1991年^[36]に考案されたアンサンブル学習の一種である混合エキスパート（英語版）（Mixture-of-Experts、MoE）は、2017年に扱えるパラメータ数を増やすためにGoogleがディープラーニング（LSTM, Sparsely-Gated Mixture-of-Experts Layer）に適用し^[37]、その後、GShard（2020年）^[38][39]、GLaM（2021年）^[40]などTransformerに適用され、多くのTransformerのモデルに採用された。

トークン化

LLMは数学的な関数であり、その入力と出力は数字のリストである。したがって、単語は数値に変換しなければならない。

一般に、LLMはこれを行うために固有のトークナイザを使用し、テキストと整数のリストを対応させている。通常、LLMを訓練する前にトークナイザを訓練データセットの全体に適用し、その後は凍結する。トークナイザにはバイト対符号化が選択されるのが一般的である。

トークナイザのもう一つの機能は、計算量を削減するためのテキスト圧縮である。たとえば「where is（どこにありますか）」などの一般的な単語やフレーズは、7文字ではなく1つのトークンでエンコードすることができる。OpenAI GPTシリーズでは、1つのトークンが一般的な英語テキストの約4文字、つまり約0.75語に相当するトークナイザを使用している^[41]。珍しい英語のテキストは予測しにくく、そのため圧縮が困難となり、より多くのトークンを必要とする。

トークナイザは、任意の整数を出力することはできない。一般的には ${\displaystyle \{0,1,2,...,V-1\}}$ の範囲の整数に限って出力される。ここで、${\displaystyle V}$ は語彙（ごい）サイズと言う。

トークナイザには、任意のテキストを扱えるものと（一般にUnicodeで直接操作する）、そうでないものがある。トークナイザは、エンコード不可能なテキストに遭遇した場合、「未知テキスト（unknown text）」を意味する特別なトークン（多くは0）を出力する。BERT論文にならって、[UNK] と表記されることが多い。

もう一つの特別なトークンは、「パディング」を表す [PAD] （多くは1）である。これは、一度に大量のテキストがLLMに入力されたときに、エンコードされたテキストが同じ長さになるよう調節するのに使用される。LLMでは一般に、入力の長さが一定のシーケンス（ジャグ配列という）であることを要求するため、エンコードした短いテキストを長いテキストにそろえるのにパディングを行う。

出力

LLMの出力は、その語彙の確率分布である。これは通常、次のように実装される。

• テキストを受信すると、大半のLLMはベクトル ${\displaystyle y\in \mathbb {R} ^{V}}$ を出力する。ここで、${\displaystyle V}$ は語彙サイズ（上述）である。
• ベクトル ${\displaystyle y}$ はソフトマックス関数によって ${\displaystyle {\text{softmax}}(y)}$ となる。

このプロセスでは通常、ベクトル ${\displaystyle y}$ は非正規化ロジットベクトルといい、ベクトル ${\displaystyle {\text{softmax}}(y)}$ は確率ベクトルと呼ばれる。ベクトル ${\displaystyle {\text{softmax}}(y)}$ は ${\displaystyle V}$ 個のエントリを持ち、すべて非負であり、その合計は1となるので、${\displaystyle \{0,1,2,...,V-1\}}$ に対する確率分布、つまりLLMの語彙に対する確率分布であると解釈することができる。

ソフトマックス関数は数学的に定義されており、変化するパラメータを持たないことに注意を要する。したがっては訓練は行われない。

コンテキストウィンドウ

LLMのコンテキストウィンドウは、LLMがトークンを生成するために使用できる最長のトークンシーケンスの長さである。もしLLMがコンテキストウィンドウより長いシーケンスに対してトークンを生成するときは、トークンシーケンスをコンテキストウィンドウまで切り詰めるか、アルゴリズムに一定の変更を加える必要がある。

LLMのコンテキストウィンドウ長は2026年8月現在は各社のフラグシップモデルの場合は1Mトークンの物が多い。OpenAIのGPT-3.5は、2022年11月当時、4Kトークンのコンテキストウィンドウだった^[42]。

エンコーダーとデコーダーの用語

Transformerに基づくLLMでは、Transformerの原著論文で使われている用語とは多少異なる^[43]。

• エンコーダのみ: フルエンコーダ、フルデコーダ
• エンコーダー - デコーダー: フルエンコーダー、自己回帰デコーダー
• デコーダのみ: 自己回帰エンコーダ、自己回帰デコーダ

ここでの「自己回帰」とは、「マスク化アテンション」節で説明したように、あるトークンからそれに続くすべてのトークンへのアテンションをゼロにするために、アテンションヘッドにマスクが挿入されることを意味する。

事前学習用データセットの大きさ

最初期のLLMは、数十億語の規模のコーパスで訓練が行われた。

OpenAIのGPT（generative pre-trained transformer）シリーズの最初のモデルであるGPT-1は、2018年に、9億8500万語で構成されるBookCorpusで訓練された^[46]。同年、BERTはBookCorpusと英語版Wikipediaの組み合わせで訓練され、合計で33億語になった^[45]。それ以来、LLMの訓練用コーパスは桁違いに増加し続けており、トークン数は最大で数兆個に達した^[45]。

訓練費用

LLMの訓練には計算費用がかかる。2020年の調査では、15億パラメータのモデル（当時の最先端技術より2桁小さい）の訓練にかかる費用は8万ドルから160万ドルと見積もられた^[47][48]。その後、ソフトウェアとハードウェアの進歩により費用は大幅に下がり、2023年の論文では、120億パラメータのモデルを訓練するための費用は72,300 A100-GPU 時間であると報告されている^[49]。

2020年代の企業は、ますます大規模になるLLMに巨額の投資を行った。GPT-2（15億パラメータ、2019年）の訓練費用に5万ドル、またGoogle PaLM（54億パラメータ、2022年）は800万ドルを要した^[50]。2025年のOpenAIは190億ドル（3兆円）を研究開発費（訓練費用は研究開発費に含まれている）として使用した^[51]。スケーリング則により、（正確には違うが）おおよそモデルのパラメータ数の2乗に訓練費用は比例する。パラメータ数を増やすと世界中のテキストデータを取り込めるため、GPUの扱える限界までパラメータ数が増やされて高額になった。

ファインチューニング

ファインチューニング（英: fine-tuning、微調整）とは、事前学習された既存の言語モデルを、特定のタスク（例: 感情分析、固有表現識別、品詞タグ付け（英語版））で（教師ありの）訓練を行うことによって修正する手法である。これは転移学習の一種である。一般的には、言語モデルの最終層と下流タスク（英: downstream tasks）の出力とを接続する新しい重みのセットを導入することになる。言語モデルの元の重みは「凍結」したまま、それらを出力に接続する新しい重み層のみが訓練中に調節されるように構成する。また、元の重みをわずかずつ更新させたり、あるいは以前の凍結された層と一緒に更新されることもある^[45]。

プロンプト

GPT-3によって普及したプロンプトパラダイムでは^[4]、解決すべき問題はテキストプロンプト（回答を促す指示）で定式化され、モデルは（推論して）補完を生成することによってそれを解決しなければならない。「少数ショットプロンプト」（英: few-shot prompting）の場合、プロンプトには類似した組（問題、解決）の少数の例が含まれる^[2]。たとえば、映画レビューに対する感情をラベル付けする感情分析タスクは、次のような例で回答が促される^[4]。

レビュー: この映画は気が沈む。
感情: ネガティブ

レビュー: この映画は素晴らしい!
感情: 

もしモデルが「ポジティブ」と出力すれば、正しくタスクが解決されたことになる^[47][52]。一方、「ゼロショットプロンプト」（英: zero-shot prompting）の場合、解決例を提供しない。同じ感情分析タスクに対するゼロショットプロンプトの例は、『映画レビューに関連するセンチメントは「この映画は素晴らしい!」』である^[53]。

LLMにおける少数ショットの性能は、NLPタスクで競争力のある結果を達成することが示されており、ときには先行する最先端のファインチューニング手法を凌ぐことさえある。このようなNLPタスクの例としては、翻訳、質問応答、穴埋め（英語版）、マス埋めパズル、文中の新語検出などがある^[52]。優れたプロンプトを作成し、最適化することをプロンプトエンジニアリングと呼ぶ。

インストラクション・チューニング

インストラクション・チューニング（英: instruction tuning、命令チューニング）は、より自然で正確なゼロショットプロンプトによる対話を促進するために考案されたファインチューニングの一形態である。テキストが入力されると、事前学習された言語モデルは、訓練に使用したテキストコーパスの分布に一致するような補完を生成する。たとえば、「ハムレットの主要テーマについてエッセイを書いてください」というプロンプトが与えられたとき、単純な言語モデルは「3月17日以降に受け取った提出物には、1日あたり10%の遅延損害金が適用されます」といった（意図しない）補完を出力するかもしれない。インストラクション・チューニングでは、自然言語による命令として定式化された多くのタスクの例と、適切な応答を用いて言語モデルを訓練する。

インストラクション・チューニングでは、さまざまな手法が実践されている。その一例である「自己学習（英: self-instruct）」は、LLMによって生成された事例（人間が作成した少数の初期事例からブートストラップしたもの）の訓練セットで言語モデルをファインチューニングする^[54]。

強化学習によるファインチューニング

OpenAIのInstructGPTプロトコルでは、人間が作成したプロンプトと応答の組からなるデータセットによる教師ありファインチューニングと、それに続く、人間のフィードバックによる強化学習（RLHF）を伴っている。この場合、人間の好みを反映したデータセットを用いて報酬関数を教師あり学習し、その後、この報酬モデルを使用した近位方策最適化（英語版）によってLLM自体を訓練する^[55]。

ツールの使用

LLMだけでは解決が難しい、あるいは不可能な問題もある。たとえば、「354 * 139 = 」のような計算式の場合、次のトークンを予測することは困難であり、「What is the time now? It is」（今は何時ですか？ 今は）についてはまったく予測できない。しかし、人が計算機を使って計算し、時計を使って時刻を知るように、LLMも他のプログラムを呼び出して次のトークンを予測することができる。LLMは、「What is the time now? It is {system.time()}」（今何時ですか？ 今は{system.time()}）や、「354 * 139 = {354 * 139}」のようにプログラムコードを生成し、次に別のプログラムインタプリタが生成されたコードを実行してその出力を埋める^[56][57]。この基本的な戦略は、生成されたプログラムを複数回試行したり、別のサンプリング戦略を使用して改良することもできる^[58]。

一般的に、LLMにツール（道具）を使わせるためには、ツールを使えるようにファインチューニングする必要がある。ツールの数が有限であれば、ファインチューニングは一度で済むかもしれない。オンラインのAPIサービスのようにツールの数が任意に増えるのであれば、APIの仕様書を読み取ってAPIを正しく呼び出せるようにLLMをファインチューニングすることができる^[59][60]。

より単純なツールの使用形態として、検索拡張生成（Retrieval Augmented Generation、RAG）があり、これはLLMを文書検索を使用して拡張するもので、ときにはベクトルデータベース（英語版）を使うこともある。クエリが与えられると、文書検索ツールが呼び出され、もっとも関連性が高い文書が取得される（通常、初めにクエリと文書をベクトルで符号化し、次にクエリベクトルにユークリッドノルムで最も近いベクトルを持つ文書を検索する）。その後、LLMは、クエリと取得した文書の両方に基づいて出力を生成する^[61]。

エージェント

LLMは言語モデルであり、それ自体は目標を持たないためエージェントではないが、知的エージェントの構成要素として使用することができる。

ReAct（Reason + Act）法は、LLMをプランナーとして使用し、LLMからエージェントを構築するものである。LLMは「考えごとを声に出して言う」よう促される。具体的には、言語モデルに対して、環境のテキスト表現、目標、可能な行動のリスト、および過去の行動と観察の記録が与えられる。LLMは、行動を決める前に1つまたは複数の思考を行い、それが環境内で実行される^[62]。LLMプランナーに与えられる環境の言語的記述は、ときには環境を記述した論文のLaTeXコードすら考えられる^[63]。

リフレクション法^[64]は、いくつかのエピソードにわたって学習するエージェントを構築する手法である。各エピソードの終わりに、LLMはそのエピソードの記録が渡され、次のエピソードでより良い成績を出すための「教訓」を考えるように促される。これらの「教訓」は次のエピソードでエージェントに渡される。

モンテカルロ木探索では、LLMをロールアウトのためのヒューリスティクスとして使用することができる。プログラムされた世界モデルが利用できない場合、LLMは世界モデルとして動作するように環境を説明するよう促されることもある^[65]。

オープンエンド探索では、LLMを観測値の「興味深さ（interestingness）」のスコアリングに使用し、これを通常の（非LLM）強化学習エージェントを誘導する報酬信号として使用することができる^[66]。あるいは、LLMに、カリキュラム学習のために次第に難しくなるタスクを提案させることもできる^[67]。LLMプランナーは、個々の行動を出力する代わりに、複雑な行動シーケンスを表す「スキル」や関数を構築することもできる。スキルを保存して後で呼び出すことができるため、プランニングの抽象度を高めることができる^[67]。LLMを使用したエージェントは、過去のコンテキストの長期記憶を保持して、この記憶は検索拡張生成と同じ方法で取り出すことができる。このようなエージェントどうしが社会的に相互作用することができる^[68]。

パープレキシティ

言語モデルの性能を表す最も一般的な指標は、所与のテキストコーパスにおける言語モデルのパープレキシティである。パープレキシティは、モデルがデータセットの内容をどれだけうまく予測できるかを示す尺度である。モデルがデータセットに割り当てる尤度（ゆうど）が高いほど、パープレキシティは低くなる。数学的には、パープレキシティは、トークンごとの平均負対数尤度の対数として定義される。$${\displaystyle \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(Pr({\text{token}}_{i}|{\text{context for token}}_{i}))}$$ここで、${\displaystyle N}$ はテキストコーパス内のトークン数であり、「context for token ${\displaystyle i}$（トークン ${\displaystyle i}$ の文脈）」は使用するLLMの種類に依存する。たとえば、LLMが自己回帰型の場合、「context for token ${\displaystyle i}$」はトークン ${\displaystyle i}$ よりも前に現れたテキストの一部である。

言語モデルは訓練データに対して過剰適合する可能性があるため、モデルは通常、未知のデータから構成されるテストセットに対するパープレキシティによって評価される。このことは、大規模な言語モデルを評価する際に、特に重要な課題となる^[45]。言語モデルの訓練は、主にウェブから収集された、より大規模なテキストコーパスが使用されるため、モデルの訓練データに特定のテストセットの一部が誤って含まれてしまう可能性がますます高くなる^[52]。

タスク固有のデータセットとベンチマーク

また、言語モデルがより具体的な下流タスクを実行する能力を評価するために、多くのテスト用データセットやベンチマークが開発されている。テストは、一般的な知識、常識的な推論、数学的な問題解決など、さまざまな能力を評価するために設計することができる。

評価用データセットの大区分の1つに、質問と正解の組で構成される質問応答データセットがある。たとえば、『「サンノゼ・シャークスはスタンレーカップで優勝しましたか?」、「いいえ」 』のような組である^[74]。質問回答タスクでは、モデルのプロンプトに期待される答えを導き出せるテキストが含まれる場合、「明白なもの（オープンブック (en:英語版) ）」とみなされる。たとえば、先の質問には、「2016年、シャークスはスタンレーカップ決勝戦に進出し、ピッツバーグ・ペンギンズに敗れた。」という文を含むテキストが追加される可能性がある^[74]。そうでない場合、タスクは「（理解する術がなく）説明できないもの（クローズドブック）」とみなされ、モデルは訓練中に獲得した知識を動員する必要がある^[75]。一般的な質問回答データセットの例として、TruthfulQA、Web Questions、TriviaQA、SQuADなどがある^[75]。

評価用データセットは、テキスト補完の形式をとることもできる。この場合、モデルは、プロンプトを完成させるために最も可能性の高い単語や文章を選択する。たとえば、「アリスはボブと友達だった。アリスは彼女の友人の＿＿＿を訪ねた。」のような穴埋め型の設問である^[52]。

また、さまざまな評価データセットやタスクを組み合わせた複合ベンチマークも開発されている。たとえば、GLUE、SuperGLUE、MMLU、BIG-bench、HELMなどがある^[76][75]。

かつては、評価用データセットの一部を手元に残し、残りの部分で教師ありファインチューニングを行い、その後に結果を報告するのが一般的であった。現在では、事前学習されたモデルをプロンプティング技術によって直接評価することが一般的になっている。しかし、特定のタスクに対するプロンプトの作成方法、特にプロンプトに付加される解決済みタスクの事例数（nショットプロンプトのn値）については研究者によって異なる。

理解力と知性

2022年の調査で、（チューニングされていない）LLMが、「自然言語を何らかの自明でない意味で理解できる（ことがある）か」という問いに対して、自然言語処理研究者の意見は真っ二つに分かれた^[79]。「LLMは理解力を持つ」派の支持者は、数学的推論のようないくつかのLLMの能力は、特定の概念を「理解」する能力を意味すると考えている。マイクロソフトのチームは、2023年に、GPT-4は「数学、コーディング、視覚、医学、法律、心理学などにまたがる斬新で難しいタスクを解決できる」とし、GPT-4は「汎用人工知能システムの初期バージョン（しかしまだ未完成）とみなすのが妥当だろう」と主張し、「ソフトウェア工学の受験者の試験に合格するシステムが、本当の意味で知的ではないと言えるだろうか？^[85][86]」と述べた。LLMを「地球外生命の知能」と呼ぶ研究者もいる^[87][88]。たとえば、ConjectureのCEOであるコナー・リーヒーは、チューニングされていないLLMを、まるで得体の知れないエイリアン「ショゴス」のようだと見なし、RLHFチューニングがLLMの内部構造を覆い隠す「見せかけの笑顔」を作り出すと考えている。『あまり無理をしなければ、笑顔のままだ。しかし（予期せぬ）プロンプトを与えると突然、狂気、奇妙な思考過程、そして明らかに人間ではない理解といった巨大な裏の顔を覗かせる』^[89][90]。

対照的に、「LLMは理解力を欠く」派の支持者の中には、既存のLLMは「既存の文章を単に練り直し、組み替えているだけ」であると考えたり^[88]、既存のLLMが予測能力、推論能力、主体性、説明可能性において依然として欠点を抱えていることを指摘したりする人もいる^[79]。たとえば、GPT-4は計画やリアルタイム学習においてもっともな欠陥がある^[86]。生成的LLMは、訓練データでは正当化されないような事実を自信をもって主張することが観察されており、この現象は「ハルシネーション（幻覚）」として知られている^[91]。神経科学者のテレンス・セジュノウスキー（Terrence Sejnowski）は、「LLMの知性に関する専門家の意見の相違は、自然の叡智に基づく私たちの古い考え方が十分ではないことを示唆している」と主張している^[79]。