Deeplearning4j

Deeplearning4jは、一般に広く使用されているプログラミング言語のJavaを使用しているが、Clojureとも互換性がありScalaのAPIを含んでいる。そのライブラリ内にある数値計算オープンソースライブラリであるND4Jを使用しており、CPUとGPUのどちらでも動作する^[7][8] 。Deeplearning4jは、 アダム・ギブソンの率いるサンフランシスコの機械学習グループによって主に開発されたオープンソースのプロジェクトである^{[9] [10][11]} 。Deeplearning4jは、GoogleのWord2vecページにリストされた唯一のJavaで実装されたオープンソースのプロジェクトである^[12]。

Deeplearning4jは数多くの商業的、学術的アプリケーションに使用されている。コードは、GitHub^[13]、 サポートフォーラムは、Gitterにある^[14]。

フレームワークは、コンポーザブルであり、浅いネットワークである制限付きボルツマンマシン、畳み込みネットワーク、オートエンコーダー、再帰ネットワークなどのニューラルネットワークを組み合わせて様々な種類のディープネットワークを作ることができる。

Deeplearning4jの訓練は、クラスタで行われる。ニューラルネットは、Hadoop/YARN及びSparkで使用できるiterative reduceを経由して同時に訓練を受ける^[10][15] 。また、Deeplearning4jはCudaのカーネルに統合し、GPUの演算を行うことができ、分散型GPUにも対応している。

Deeplearning4jは、PythonにNumPyが提供する機能のように、ND4Jを使った JavaやScalaで計算できるn次配列クラスを含んでいる。ND4Jは、プロダクション環境における線的代数及びマトリクス操作のライブラリに基づいている。

DataVecは、 HadoopがMapReduceを使用するように、入力/出力フォーマットシステムを使って、様々なファイルフォーマット及びデータタイプをベクトル化^[要説明] する。DataVecは、CSVファイル、画像、音声、テキスト、ビデオ、時系列データをベクトル化するように設計されている。

Deeplearning4jは、ベクトル空間モデル及びトピックモデルのツールキットを含み、Javaに実装され、パフォーマンス向上のために並列GPUを統合している。特に大量のテキスト処理が行えることを目的として作成された。

Deeplearning4jは、tf–idf、ディープラーニング、Mikolovの word2vecアルゴリズム、doc2vecを実装している。GloVeも再度実装され、最適化されている。ワードクラウドの視覚化には、t-SNEを使うことができる。バージョン1.0.0-beta4からは、BERTによる学習モデルの利用も可能となった^[16][17]。

実際にDeeplearning4jが使用されている分野には、金融部門における不正の検知^[18]、製造業などでの異常検知、電子商取引や広告のレコメンダシステム^[19]、 画像認識などがある。RapidMinerやPrediction.ioなどその他の機械学習プラットフォームも統合している^[20]。

• en:OpenNN－C++言語によるディープラーニング用のオープンソースのニューラルネットワークライブラリ
• Torch－スクリプト言語 Luaによるオープンソースのフレームワーク。機械学習アルゴリズムを広くサポートする。
• Theano－Pythonのディープラーニング用のオープンソースのライブラリ
• en:Neuroph

ポータル FOSS

• en:Comparison of deep learning frameworks（英語）
• 人工知能
• 機械学習
• ディープラーニング