Dlshogi
From Wikipedia, the free encyclopedia
概要
特徴
ディープラーニング系の特徴として序盤の大局観が優れていると評価されている[8]。
藤井聡太は、2020年にCPUで動かすNNUE系の将棋ソフト「水匠」[注釈 1][9]を利用していることを明かしている[10][11]。その後、2020年度の王将リーグが終わった頃に、プロ棋士の中でもいち早くGPUで動かすディープラーニング系の将棋ソフト「dlshogi」を導入した[2][3]。2021年には、藤井は「dlshogi」が従来のCPUで動かす将棋ソフトと比較して序盤に優位性があると認識しているが、終盤は「水匠」の方が正確な場合が多いとも評している[2]。「dlshogi」を研究に導入してから、藤井にディープラーニング系の将棋ソフトに特徴的な手が見られるようになったと指摘する声もある[3]。
渡辺明もAI研究のために高性能パソコンとともに水匠とディープラーニング系ソフトのdlshogiを導入したと述べている[12]。
開発
2016年3月のAlphaGo対李世乭の対局後、2016年4月にAlphaGoのクローンを開発することから始まった、AlphaGoの手法を参考にディープラーニングを将棋に応用するプロジェクトである[13]。2017年の第27回世界コンピュータ将棋選手権に出場したPonanza Chainerが将棋へのディープラーニングの適用に成功したという情報を受け、2017年4月のブログ記事「コンピュータ将棋におけるディープラーニングの考察」を元に将棋AIの開発を開始した[13]。これは2017年12月のAlphaZero Shogiの発表より早い[13]。
開発者の山岡は「dlshogi」の開発において、既存のライブラリ、特に「やねうら王」の使用を避ける方針を取っている。2019年の世界コンピュータ将棋選手権では、決勝進出ソフトすべてがやねうら王のライブラリを使用しており、優勝したのもやねうら王本体であった。一方、dlshogiは二次予選で敗退している。山岡は「やねうら王は使いたくない」と述べており、「やねうら王を使ってしまったら、派生品のようになってしまう。それが嫌だった」と理由を説明している。一方で、合法手生成などの処理にはAperyのライブラリを使用している[5]。ただし、GitHubのREADMEには「王手生成などに、やねうら王のソースコードを流用しています」と記載されており、特定機能に限った部分的な利用が行われている[14]。
GCT電竜との違い
GCT（DeepLearningShogi for Google Colab TPU/Training）は、Google Colab TPU/GPUを活用し、無料または安価なゲーミングPCでdlshogiを強くする方法を追求するプロジェクトである[13]。AlphaZeroは5000台のTPUを利用して学習しており、dlshogiは個人で調達可能なハイエンドGPUを3枚使用していたが、新規参入のハードルが上がってしまっていたため、これを解決する方法としてGoogle Colabに注目した[13]。
GCTは、dlshogiをベースとしつつ、より多様な学習データを取り入れて開発された。dlshogiは、ディープラーニングによって将棋AIを強化することを目的として2017年より開発が始まり、従来型将棋AIの自己対局データやfloodgateの棋譜などを使用せず、自前の強化学習による学習に特化していた。また、個人のリソースでも強いモデルを構築できることを重視しており、AobaZeroのような大規模計算環境で生成された棋譜は用いていなかった[15]。
一方、GCTではGoogle Colab上でdlshogiを動作させつつ、floodgateの棋譜や従来型AIの自己対局データ、AobaZeroの棋譜など、既存の高精度な棋譜データを積極的に活用して学習を行っていた。また、第1回世界将棋AI電竜戦の直前には、AWSの最新GPU（NVIDIA A100）を用いる体制が整い、開発者間での協力を通じてdlshogiの強化学習データや実装上の改良点も共有された。その結果、GCTはSwish関数を用いた高精度なモデルによる学習を実現し、同大会で優勝を果たすに至った[15]。
この結果は、従来のディープラーニング将棋AIが大会で上位に食い込むことすら難しかった中で、既存の高精度な棋譜を活用する意義を実証するものとなった。dlshogi本体の開発にも影響を与え、以後は棋譜の量よりも精度を重視した学習方針が採られるようになった[15]。
大会実績
関連書籍
- 『強い将棋ソフトの創りかた Pythonで実装するディープラーニング将棋AI』山岡忠夫・加納邦彦、Compass Booksシリーズ ISBN 978-4839977344
- 本書は dlshogi そのものをメインとした解説書ではないが、著者の山岡が開発するディープラーニング系将棋AIの開発思想や技術的背景に触れており、類似手法を学ぶ上での参考となる。