トム・B・ブラウン
From Wikipedia, the free encyclopedia
人物
サンフランシスコ(カリフォルニア州)を拠点とする。スタートアップ起業家としての実地経験と独学によってAI研究者への転身を果たした経歴をもつ。Anthropicの技術組織を統括し、計算資源を高度なAIモデルへと変換する取り組みを率いている。
学歴
マサチューセッツ工科大学(MIT)コンピュータサイエンス専攻、工学修士(Master of Engineering)[1]
経歴
スタートアップ期(〜2016年)
MITを卒業後、ウェブスタートアップの起業家として活動した。グループデーティングアプリ「Grouper」の共同創業者兼CTOを務め[2]、Yコンビネーター(Y Combinator, YC)の支援を受けた複数のスタートアップを経験した[3]。2015年、サンフランシスコのテクノロジーコミュニティ「South Park Commons」に参加し、3ヶ月間の独学でAI・機械学習の習得をした[4]。Coursera講座やKaggleプロジェクト、書籍『Linear Algebra Done Right』(Sheldon Axler著)などで6ヶ月間の自己学習し、OpenAIへの入社した[3]。
OpenAI(2016〜2021年)
OpenAIの初期20名以内のメンバー[3]。当初はゲームプロジェクトから始め、約9ヶ月後に機械学習の業務に移行した[3]。その後、Google Brainを経て再度OpenAIに戻り、GPT-3の開発チームのエンジニアリングを主導した[5]。
2020年に発表した論文「Language Models are Few-Shot Learners」(GPT-3論文)の筆頭著者として、1750億パラメータを持つ大規模言語モデルが少数の事例のみで多様なタスクを実行できること(フューショット学習)を実証した[6]。人間フィードバックからの強化学習(RLHF)の共同発明者でもあり、基盤言語モデルを対話型アシスタントに変換する手法の確立に貢献した[7]。
Anthropic(2021年〜)
2021年、ダリオ・アモデイ・ダニエラ・アモデイら7名の元OpenAI研究者とともにAI安全性研究を専業とする公益法人Anthropicを共同創業した[8]。共同創業者かつ最高計算責任者(CCO)として、AnthropicがGPUなどの計算資源を効率的に運用してClaude等の高性能モデルへと変換するための技術組織を統括している[9]。
クラウド・チッププロバイダーとの戦略的パートナーシップの構築にも中心的な役割を担う[10]。AWS re:Invent 2024ではAmazon Web Servicesと共同で「Project Rainier」(数十万基のTrainium2チップからなる高性能AIクラスター)を発表し、登壇した[11]。
主な研究と考え方
スケーリング則とLLMの能力
ブラウンは、大規模言語モデルの能力が計算資源・パラメータ数・データ量の増大に伴い予測可能な形で向上するという「スケーリング則」(Scaling Laws)を実証的に示した研究の中心的な担い手である。GPT-3の開発では、モデルのパラメータ規模を1.5億から1750億へと拡大するエンジニアリングを主導し、少数の入力例のみで多様なタスクに対応するフューショット性能が著しく改善されることを実証した[12]。
LightconeポッドキャストでのY Combinator創業者との対談において、ブラウンは「計算資源を増やすほどモデルが賢くなるという非常に直線的な関係が見られた」と述べ、スケーリングへの確信が現在のAnthropicの方向性の基礎となっていることを明かした[13]。
RLHF(人間フィードバックからの強化学習)とAI安全性
ブラウンは、基盤言語モデルを役に立つ対話型アシスタントへと変換するための手法として、人間フィードバックからの強化学習(RLHF)の開発に中心的に貢献した。この技術は、人間の評価者が生成結果を優劣評価し、その情報をもとにモデルを微調整するもので、ChatGPTやClaudeのような現代の対話型AIの根幹技術となっている[14]。Anthropicでは、RLHFをさらに発展させたConstitutional AI(CAI)技術が開発され、AIモデル自体が別のモデルの出力を評価する「AIフィードバック」による訓練を可能にしている[8]。
コンピューティングインフラとAGIに向けた展望
Anthropicの最高計算責任者として、ブラウンはAIの大規模展開を支える計算インフラを人類史上最大規模の取り組みと位置づけている。AWSとの提携によるTrainium2チップを活用した大規模クラスター(Project Rainier)を通じ、モデルの能力向上を加速させることがAI安全性研究そのものにつながるという立場を取る[15]。汎用人工知能(AGI)については、「現時点で弱いAGIはすでに存在している」として段階的な知能の向上を認めつつも、モデルがさらにどこまで賢くなり得るかについては未解明の問いが残ると述べている[8]。
発言
ブラウンの考えの理解の助けのために、彼自身の言葉を引用する。
AIのスケーリングと計算資源
- モデルの将来的な能力
- 「今は、スタートアップを成功させてほしいとモデルに促すこともできますが、途中で詰まってしまいます。でも計算資源を追加するほど、モデルはどんどん賢くなっていく。モデルのIQが上がっていくんです。だから、モデルが突然改善しなくなるとしたら、それはむしろ驚くべきことだと思います。毎年IQポイントが積み上がっていき、いつかはエンジニアリングにおいて私を超えるモデルが生まれるでしょう。」
- (原文:“Right now you may prompt the model to build a successful startup. It’ll try to do it, but it’ll get stuck. But as we add more compute, the model gets smarter. The model’s IQ goes up. So I think it would be surprising if the models suddenly stopped getting better. And then it’s a question of how much better can they get? … But every year it seems like we’re getting more IQ points so at some point I think we’ll get models that are better at engineering than I am.”)[8]
AIの安全性と社会
- コンスティテューショナルAIの意義
- 「モデルが賢くなるにつれて、ほとんどのタスクをうまくこなせるようになってきました。そこで私たちは、あるモデルが別のモデルの応答に上票・下票をつけるエンティティになれるよう、constitutional AIを開発しました。人に役に立つ・無害・誠実であることを憲法として書き上げ、(つぎに)モデルがその憲法に沿って振る舞えているかを別のモデルが評価する。一つのシンプルな文書から、モデルのパーソナリティを形成する方法なのです。」
- (原文:“We developed constitutional AI to turn a model into the entity that upvotes or downvotes another model. A person can write up a constitution of what it means to be helpful, harmless, and honest, and then a model will read the interactions between the human and the assistant and consider if the assistant is acting in accordance with the constitution. This is a way to take a simple document and turn it into a model personality.”)[8]
キャリアと学び
- 独学からの転身
- 「2015年に、AI研究を志しましたが、最初の一歩を踏み出すことがとても大変でした。(というのも)MITを卒業してから8年間、ウェブスタートアップを立ち上げており、1万時間を積み重ね、Yコンビネーターから資金を調達して30人規模に会社を育てているのです。それを手放してAI研究の世界に入るのは、キャリアをゼロからやり直すことのように思えて、これが正しい選択なのかとさんざん迷いました。」
- (原文:“In 2015, I wanted to help with AI research, but taking the first steps felt daunting. I’d graduated from MIT then spent eight years building web startups. I’d put in my 10,000 hours, gotten funding from Y Combinator and grown a company to thirty people. Moving to research felt like starting over in my career. Was it really a good idea to throw away years of work?”)[16]
- 仲間と学ぶことの力
- 「South Park Commonsに参加し、3ヶ月で機械学習を独学するための計画を立てました。SPCの数名のメンバーもこの分野に興味を持っていたので、一緒にコースのカリキュラムを進めて論文読み会をしました。恐れを乗り越えて飛び込んでしまえば、格段にラクになりました。集中した6ヶ月の後、OpenAIのポジションを得たんです。」
- (原文:“I joined South Park Commons, blocked off three months to see if I could make progress, and made a plan to teach myself machine learning. Several other SPC members were interested in the space, so we started going through a curriculum of courses and organized a paper reading group. As soon as I got over the fear and took the plunge, things got vastly easier. Six months of focused work later, I had a position at OpenAI.”)[17]
- 直接やってみることの重要性
- 「何かを上達するいちばんの方法は、たいていの場合、それを直接やってみることです。まずやってみて、どこで失敗するかを見てみましょう。そこに、練習すべき場所が見えてきます。」
- (原文:“The best way to get good at something is usually by doing it directly. Try doing it first, then see where you fail. That will show you where you need to practice.”)[3]
主な論文
- Tom B. Brown et al., “Language Models are Few-Shot Learners”, ‘‘arXiv:2005.14165’’, 2020年5月。Tom B. Brown et al. (2020-05-28). “Language Models are Few-Shot Learners”. arXiv 2026年3月19日閲覧。. ※GPT-3に関する論文。
- Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown ほか, “Scaling Laws for Neural Language Models”, ‘‘arXiv:2001.08361’’, 2020年1月。Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown et al. (2020-01-23). “Scaling Laws for Neural Language Models”. arXiv 2026年3月19日閲覧。.
- Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen ほか(Tom Brown 共著), “Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback”, ‘‘arXiv:2204.05862’’, 2022年4月。Yuntao Bai et al. (incl. Tom Brown) (2022-04-12). “Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback”. arXiv 2026年3月19日閲覧。.
- Daniel Hernandez and Tom Brown, “AI and Efficiency”, OpenAI Blog, 2020年5月。Daniel Hernandez and Tom Brown (2020年5月5日). “AI and Efficiency”. OpenAI. 2026年3月19日閲覧。