Apache Airflow

From Wikipedia, the free encyclopedia

作者 Maxime Beauchemin / Airbnb
最終版
ウィキデータを編集
旧版
2.11.0[1] / 2025年5月20日 (7か月前)
安定版
3.0.2[1] / 2025年6月10日 (7か月前)
Apache Airflow
 ウィキデータを編集
Apache Airflow logo の公式ロゴマーク。
作者 Maxime Beauchemin / Airbnb
開発元 Apache Software Foundation
初版 2015年6月3日 (10年前) (2015-06-03)
最終版
ウィキデータを編集
旧版
2.11.0[1] / 2025年5月20日 (7か月前)
安定版
3.0.2[1] / 2025年6月10日 (7か月前)
最新評価版
2.11.0[1] ウィキデータを編集 / 2026年1月6日 (6日前)
リポジトリ ウィキデータを編集
プログラミング
言語
Python
対応OS WindowsmacOSLinux
サイズ 分かりません。
対応言語 Python
サポート状況 サポート中です。(開発中)
種別 ワークフロー管理プラットフォーム英語版、スケジューラ、無料且つ自由のオープンソースソフトウェア
ライセンス Apache-2.0、Apache License
公式サイト airflow.apache.org ウィキデータを編集
テンプレートを表示

Apache Airflowは、データエンジニアリングパイプライン用のオープンソースワークフロー管理プラットフォームである。2014年10月[2]Airbnbで開発が始まり、ますます複雑化する社内のワークフローを管理するためのソリューションとして作られた。Airflowを開発したことで、Airbnbはワークフローをプログラムで作成・スケジュールし、組み込みのAirflowユーザーインターフェイス経由でワークフローを監視できるようになった[3][4]。プロジェクトは当初からオープンソースとして公開され、2016年3月にはApache Incubatorプロジェクトになり、2019年1月にはトップレベルのApache Software Foundationプロジェクトになった。

AirflowはPythonで書かれており、ワークフローはPythonスクリプト経由で作成される。Airflowは「configuration as code」の原則に基づいて設計されている。XMLなどのマークアップ言語を使用する「configuration as code」に基づいたワークフロープラットフォームは他にも存在するが、Pythonを使用することにより、開発者がライブラリとクラスをインポートして、ワークフローを容易に作成できるようになっている。

Airflowは、ワークフローのオーケストレーションを管理するために、有向非巡回グラフ(DAG)を使用している。タスクとその依存関係はPythonで定義され、Airflowはそのスケジューリングと実行を管理する。DAGは、定義されたスケジュール(例:1時間毎、1日毎)や外部イベントのトリガー(例:Hive上でのファイルの作成[5])により実行できる。従来のOozie英語版やAzkabanなどのDAGベースのスケジューラは、複数の構成ファイルファイルシステムツリーに依存する傾向があったが、Airflowでは、通常1つのPythonファイルとしてDAGを記述できる[6]

マネージドサービス

出典

外部リンク

Related Articles

Wikiwand AI