基盤モデル

The Stanford Institute for Human-Centered Artificial Intelligence（HAI）の Center for Research on Foundation Models（CRFM）は、2021年8月に「基盤モデル」という用語を作り、「（一般に大規模な自己教師学習によって）幅広いデータで訓練され、下流の幅広いタスクに適応できる全てのモデル」に言及した^[5]。焦点が言語とは限らないという点において大規模言語モデルという用語では狭すぎることなどを考慮し、基盤モデルという用語に落ち着いた^[6]。

2023年12月、グーグルは新しい基盤モデル Gemini を発表した。同社は、この Gemini は一般的なタスクにおいて専門家の意見よりも優れた正しい基盤モデルであり、科学文献の分析も可能であると主張している^[7]。

基盤モデルは膨大なデータセットによって事前に訓練されているため、特定の「個別化された」概念を扱うことはできない。モデル全体を再トレーニングすることなく、個別化された項目で基盤モデルを補強する手法が様々考案されてきた。例えば、few-shot 画像検索では、視覚言語基盤モデル（CLIP）の語彙に新しい概念を追加することで適応する方法が示された^[8]。

テキスト画像生成では、同様にテキスト反転と呼ばれるアプローチでシステムに新しい概念を教え、既存の概念と組み合わせて生成できるようにすることができる^[9]。