PaLM
From Wikipedia, the free encyclopedia
| 開発元 | Google AI |
|---|---|
| 初版 | 2022年4月26日 |
| 最新版 |
PaLM2
/ 2023年5月10日 |
| サービス名 | PaLM |
| 対応言語 | 100以上の言語 |
| サポート状況 | 開発中 |
| 公式サイト |
ai |
PaLM (Pathways Language Model, パスウェイズ言語モデル) は、Googleが開発した大規模言語モデル(LLM)のひとつ。最新版はGoogle I/O 2023で発表されたPaLM2。
同社が2021年に発表した会話に特化したLLM、LaMDAと異なり、より幅広い利用を想定して開発された。2023年3月にGoogleはデベロッパー向けにPaLMの一部APIを一般公開した。
Googleが開発しているLaMDAは会話に特化したLLMだが、PaLMは会話に加え文章の生成や分類といった能力に長けているより高性能なLLM。性能指標のひとつであるパラメーターの数は5400億で、競合のGPT-3(パラメーター数1750億[1]、後継であるGPT-3.5は3550億[2])やLLaMA(同650億)、自社のLaMDA(同1370億[3])と比べると大きく上回る[4]。そのため質疑応答や文脈読解などNLP(自然言語処理)の能力が大幅に向上し、先述のLLMやMetaが開発したLLaMAを上回る性能を獲得しているとGoogleは主張している[5]。また最新版のPaLM2は、100以上の言語に対応したことで、多言語翻訳が可能となった。さらに文脈の読み取りや計算能力、論理的思考などが強化され、ことわざやなぞなぞ、隠喩や慣用句などが理解できるようになったとしている。ただ、パラメーターの増加によって必要処理能力の増大などの課題もあり、その点LLaMAは意図的にパラメーターを減らすことにより単体GPUで動くように設計されている[6]。GPT-3などのLLMに匹敵する性能を持っていることが大学や企業の研究で明らかになっている他[7]、単体GPUで動作するため家庭用PCで運用が可能。
PaLM2とGoogle I/O 2023
CNBCによる報道
CNBCは2023年5月7日、同年5月10日(米国時間)に開催されるGoogleの開発者会議「Google I/O2023」でPaLMの次期バージョン「PaLM2」を発表する方針であると報道した[8]。
競合LLMへの危機感
2023年5月8日、Googleの内部文書がDiscordの公開サーバーに流出した[9]。文書中には「OpenAIはすでに敵ではない」「警戒すべきはオープンソースとMetaであり、特にオープンソースプロジェクトは驚異的で、我々が1000万ドルと5400億のパラメーターで実現していることを、彼らは100ドルと130億のパラメーターで実現している。」などとしており、「我々がAI市場の主要なメンバーであり続けるためには、オープンソース化することが必要だ」と結論づけた。この内部文書ではオープンソースという第三の敵へのGoogleの危機感が多く示されおり、Googleの今後の開発方針に影響する可能性がある[10]。
PaLM2の発表
Googleは、2023年5月10日に開催された開発者会議「Google I/O」で事前情報の通りPaLM2を発表し、即日導入を開始した。Googleによると、すでに25を超えるサービスで導入が開始されているという[11]。
