Attention Is All You Need

この論文は、Bahdanauらが2014年に提案した注意機構に基づく、トランスフォーマーとして知られる新しいディープラーニングアーキテクチャを導入した^[5]。トランスフォーマーのアプローチは、GPTに基づくもののような大規模言語モデルの主要なアーキテクチャとなっているため、現代の人工知能における基礎的な論文とみなされている^[6][7][8]。当時、研究の焦点は機械翻訳のためのSeq2seq技術の改善にあったが、著者たちは論文中でさらに進んで、質問応答や、現在マルチモーダル生成AIとして知られるものなど、他のタスクへのこの技術の潜在的な可能性を予見している^[1]。

論文のタイトルは、ビートルズの楽曲「All You Need Is Love」（「愛こそはすべて」）のオマージュである^[9]。「トランスフォーマー」という名称は、著者の一人であるUszkoreitがこの単語の音を気に入ったため選ばれた^[10]。

本アーキテクチャの初期の設計文書は"Transformers: Iterative Self-Attention and Processing for Various Tasks"と題されており、アニメ番組『トランスフォーマー』の6人のキャラクターのイラストが含まれていた。チームはチーム・トランスフォーマーと名付けられた^[9]。

チームがトランスフォーマーアーキテクチャを試した初期の例には、英語からドイツ語への翻訳、「トランスフォーマー」に関するウィキペディアの記事の生成、構文解析などが含まれていた。これらの試みは、トランスフォーマーが翻訳だけでなく汎用言語モデルであることをチームに確信させた^[10]。

2024年現在^[update]この論文は10万回以上引用されている^[11]。

論文の著者は、アシシュ・ヴァスワニ（英語版）、ノーム・シェイザー（英語版）、Niki Parmar、Jakob Uszkoreit、Llion Jones、エイダン・ゴメス（英語版）、Lukasz Kaiser、Illia Polosukhinである。8人の著者は全員、論文に「同等に貢献」しており、記載されている順番はランダムに決定された。Wiredの記事は、グループの多様性を強調している^[9]。

8人の著者のうち6人は米国以外で生まれ、残りの2人はそれぞれ、一時的にカリフォルニアに滞在していたグリーンカード保持者のドイツ人の子供と、迫害から逃れてきた家族を持つ第一世代のアメリカ人である。

2023年までに、8人全員がGoogleを退社し、それぞれが独自のAIスタートアップを設立した（OpenAIに参加したŁukasz Kaiserを除く）^[9][11]。Llion JonesはSakana AIを創業した。