小規模言語モデル
From Wikipedia, the free encyclopedia
概要
大規模言語モデル (LLM) が、その進化により巨大化するうちに、軽量小型なコンパクトモデルを開発する必要に迫られ、そうしたモデルを指す語として「小規模言語モデル」という呼称が、いわばレトロニム的に使われるようになった。このため最新のLLMに比べて技術的制約からサイズが小さかった過去のLLMを「小規模言語モデル」と呼ぶのは適切でない。
小規模言語モデル (SLM) の分類においては、最初からローカル動作を目的に設計された軽量モデル（Gemini Nano、Microsoft Phiなど）を指すのが本来の用法である。しかし生成AI開発企業が、価格・速度競争の宣伝的文脈から、大規模言語モデル (LLM) の高速軽量版（GPT-4o mini、Claude Haikuなど）をSLMとして例示・比較することも少なくない。
また、小規模言語モデル（SLM）は、小規模なパラメータサイズと量子化などの軽量化技術を併用することで、民生用デバイスのメモリ（RAM / VRAM）上で高速に推論を実行できることが最大の特徴である。このため、外部のクラウドサーバに依存せず、インターネットに接続しないローカル環境において、ユーザーのパーソナルコンピュータ（ノートパソコン含む）やスマートフォンといった限られたハードウェア資源で動作させる「ローカルLLM」の用途においても中核的な役割を果たしている[2]。
性能
通常、LLMのトレーニングパラメータは数千億であり、一部のモデルでは1兆パラメータを超えることがある。LLMが膨大なサイズである理由は、大量の情報を抱えることで、より良いコンテンツを生成するモデルであることによる。その分、膨大な計算能力が必須であり、個人がコンピュータ1台だけでGPUを利用して大規模言語モデルをトレーニングすることは不可能である。
一方、小規模言語モデルは、通常数百万から数十億の範囲で、はるかに少ないパラメータを使用しする。これにより、単一のコンピュータやモバイルデバイスなどのリソースが限られた環境でトレーニングやホストを実現可能にしている[3][4][5][6]。
また、特定の分野に範囲を絞り込むことによるメリットがあり、小規模なデータセットでトレーニングすることで「ハルシネーション」を起こしにくくできる[1][7][8]。
小規模言語モデルの例
- Microsoft Phi[9][10]
- Apple Intelligence
- Gemini Nano
- GPT「nano」シリーズ
- Llama 3.2 - モバイル向け小規模モデル「1B」「3B」がラインナップされている[11]。