Leela Zero

Leela Zeroの思考アルゴリズムは、DeepMindのAlphaGo Zeroに関する2017年の論文に基づいて作られた^[3][6]。オリジナルの（Zeroではない）Leelaには多くの定石などの人間による知識やヒューリスティクスがプログラムに書き込まれているのとは異なり、Leela Zeroには囲碁の基本的なルールだけがプログラムされた。Leela Zeroはニューラルネットワークをもち、過去に対局した結果から学習することによって強化された^[7]。

Leela Zeroは、自身のWebサイトで調整された分散型の協力によって強化された。コミュニティのメンバーは、計算資源を提供してクライアントプログラムを実行した。クライアントでは自己対戦の対局を行い、結果は新しいニューラルネットの強化に使用された。通常、500以上のクライアントがサーバーに接続して計算資源を提供した^[7]。コミュニティは、高品質のプログラムコードの開発にも貢献していた^[7]。

Leela Zeroは、2018年4月28日に中国福建省福州で開催された「貝瑞基因杯2018世界人工知能囲棋大戦」（贝瑞基因杯2018世界人工智能围棋大赛）で3位となった^[8]。2018年末の雑誌ザ・ニューヨーカーは、LeelaとLeela Zeroを「世界で最も成功しているオープンソースの囲碁エンジン」と評した^[9]。

2018年の初頭に、別のチームが同じコードベースからLeela Chess Zeroを分岐させ、チェスのゲームに適用されたAlphaZero論文の方法を検証した。AlphaZeroではGoogleのTPU（テンソル・プロセッシング・ユニット）が使用されていたが、Leela Chess ZeroではクラウドによるインフラストラクチャとOpenCLライブラリを介してGPUを使用する手法に置き換えられた。それでも、AlphaZero論文においてチェスのために必要だったという数十時間の訓練を補うためには、Leela Chess Zeroではクラウドによる1年のトレーニングが必要になると予想された^[10]。

2021年2月15日にLeela Zeroの分散トレーニングが終了した。プロジェクト終了に伴い、サーバーも閉鎖した。

強化学習の初期の段階では、Leela Zeroのアルゴリズムとプログラムが正しく機能するかどうかの確認のため、検証を高速化するために、AlphaGo Zero論文に記載されているいくつかのパラメータを調整していた^[11]。

ニューラルネットワークの構造

AlphaGo Zeroでは256種類のフィルターで20ブロックまたは40ブロックのCNN（畳み込みニューラルネットワーク）が使われていた^[12][13]。

Leela Zeroはニューラルネットワークのサイズを徐々に拡大した（ニューラルネットワークを変更する際に、Net2Netで変換が行われた^[14]）。

• 1 ブロック x 8種類のフィルター（2017年11月10日，#0） から始まり
• 4 ブロック x 32種類のフィルター（2017年11月17日，#2，強化学習約1.9万局）、
• 5 ブロック x 64種類のフィルター（2017年11月21日，#5，約13.7万局）、
• 6 ブロック x 128種類のフィルター（2018年1月20日，#58、約286万局）、
• 10 ブロック x 128種類のフィルター（2018年3月5日，#92、約481万局）、
• 15 ブロック x 192種類のフィルター（2018年4月9日，#117、約664万局）、
• 20 ブロック x 256種類のフィルター（2018年7月28日，#158、約872万局） のフィルターが今まで使用された
• 40 ブロック x 256種類のフィルター（2018年9月4日，#174、約997万局）^[15]。

強化学習のための自己対局の局数

AlphaGo Zeroは自己対局を50万局行っていた^[13]。

Leela Zeroでは10ブロックより前では直近の25万局の結果が使われていた（2018年3月4日以前）^[16]（2018年1月1日以前はバグの為、16万局の結果のみの使用^[17]），10ブロックx 128種類のフィルター以降は直近の50万局の結果が使われている^[18]。

モンテカルロ木探索（MCTS）シミュレーションの数

AlphaGo Zeroが論文で自己訓練や正式な対局の際には、一手ごとに1600回のシミュレーションが行われる^[13]。

Leela Zeroでは当初はAlphaGo Zeroと同様に1600回のシミュレーションだったがのちに、3200回のシミュレーションに変更された^[19]。

作者は元のAlphaGo Zero論文に欠陥があることを発見した。論文の最初の入力は17チャネルだったが、白番が碁盤の端を認識しやすくするために、Leela Zeroで18に修正されている^[20]。

Leela Zeroの最初の目標は、AlphaGo Zeroの論文の結果を再現することだった。後に注目を集めた後、より多くのコンピューティングリソースと人材がLeela Zeroプロジェクトに投資され、Leela Zeroの強さは急速に増加し、以前に開発されたLeelaや他の囲碁ソフトを上回った^[20][21][21]。

2018年5月のインタビューで作者のGian-Carlo Pascuttoは携帯電話で使用できる強力な囲碁ソフトウェアを作ることと答えている^[21]。

作者は、開発開始当時のハイエンドPCで使われていたのハードウェア（NvidiaのGeForce GTX 1080 Ti）を使った場合、AlphaGo Zero自己学習レベル2900万局を達成するのに約1700年かかると予測していたため^[22]、2017年11月から、有志者が各自のハードウェアを使用して、作者グループが開発した「AutoGTP」プログラムを通じて分散コンピューティングのプロジェクトに参加する仕組みになった（GTPを使用して学習結果をサーバーと自動的に通信する）^[15]。

• プロジェクトの開始から34日後（2017年12月13日），強化学習のための自己対局が100万局を超えた。
• 59日後（2018年1月8日）、200万局を超えた。
• 74日後（2018年1月23日）、300万局を超えた。
• 100日後（2018年2月18日）、400万局を超えた。
• 119日後（2018年3月9日）、500万局を超えた。
• 138日後（2018年3月28日）、600万局を超えた。
• 166日後（2018年4月25日）、700万局を超えた。
• 218日後（2018年6月16日）、800万局を超えた。
• 261日後（2018年7月29日）、900万局を超えた。
• 299日後（2018年9月5日）、1000万局を超えた。

2018年の初めに、ボランティアはインディアナ大学のスーパーコンピューターのBig Red IIのコンピューティングリソースの利用を申請した（スーパーコンピューターの約10.7％を占める3360コアを使用）^{[23][24][注 1]}。

Leela Zeroバージョン0.10以降は、GPUが不要な純粋なCPUバージョン、既存のアルゴリズムの最適化、および新しいアルゴリズムの導入がサポートされ、全体的な計算速度を大幅に向上された。