Fluentd

Fluentdは、半構造化または非構造化データセット用のビッグデータツールである。イベントログ、アプリケーションログ、clickstreamの分析に使用できる。SuonsyrjäとMikkonenは「Fluentdの基本的なアイデアは、さまざまなタイプのログ入力と出力を統合するレイヤーになることである」と述べている^[2]。Fluentdは、Linux、macOS、およびWindowsで使用できる^[3]。

Fluentdは、マウンテンビューを拠点とするTreasure Data, Inc.のプロジェクトとして古橋貞之によって作成された^[4]。主にRubyで書かれており、そのソースコードは2011年10月にオープンソースソフトウェアとしてリリースされた^[5][6]。同社は2013年に500万ドルの資金提供を発表した^[7]。

2016年、Cloud Native Computing Foundation（CNCF）のプロジェクトに加わった^[8]。その後、2019年にはCNCFプロジェクト内のレベルのうちグラデュエーションに認定された^[9]。

Fluentdは、Apache FlumeまたはScribe類似のソフトとして、2013年にAmazon Web Servicesによって推奨されたデータ収集ツールの1つとなった^[10]。Google Cloud PlatformのBigQueryは、デフォルトのリアルタイムデータ取り込みツールとしてFluentdを推奨し、デフォルトのロギングエージェントとしてgoogle-fluentdと呼ばれるGoogleのカスタマイズされたバージョンのFluentdを使用している^[11][12]。

Fluent Bitは、Fluentd傘下のCNCFサブプロジェクトとして開発が行われている、ログの処理と転送を行うソフトウェアである^[13]。FluentdはCとRubyでRuby gemとして書かれているため、依存関係が多くメモリ使用量も大きかった。一方、Fluent BitはCのみで依存関係なしで作られているため、メモリ使用量が大幅に小さくなっており、コンテナ環境や組み込みLinuxでも利用しやすくなった^[14]。