Apache Beam
From Wikipedia, the free encyclopedia
Apache Beam est un modèle de programmation unifiée open source pour définir et exécuter des flux de données, y compris ETL, traitement par lot et en flux (en continu)[3].
Cet article est une ébauche concernant l’informatique.
L'article doit être débarrassé d'une partie de son jargon ().
| Développé par | Apache Software Foundation |
|---|---|
| Première version | et [1] |
| Dernière version | 2.70.0 ()[2] |
| Dépôt | github.com/apache/beam |
| Écrit en | Java, Python et Go |
| Système d'exploitation | Multiplateforme (d) |
| Type | Big data |
| Licence | Licence Apache 2.0 |
| Site web | beam.apache.org |
Les flux Beam sont définis à l'aide des SDKs et exécutés dans l'un des runners supportés par Beam (back-ends de traitement distribués), y compris Apache Flink, Apache Apex, Apache Samza, Apache Spark et Google Cloud Dataflow[4].
Histoire
Apache Beam[4] est une implémentation du modèle de Dataflow[6]. Le modèle Dataflow est basé sur des travaux antérieurs sur des abstractions de traitements distribués sur Google, en particulier sur FlumeJava[7] et Millwheel[8],[9].
Google a publié une implémentation SDK ouverte du modèle Dataflow en 2014 et un environnement pour exécuter Dataflows localement (non distribué) ainsi que dans le service Google Cloud Platform.
En 2016, Google a fait don du SDK de base ainsi que de la mise en place d'un runner local et d'un ensemble d'E/S (connecteurs de données) pour accéder aux services de données Google Cloud Platform à l'Apache Software Foundation.
D'autres sociétés et membres de la communauté ont contribué à la mise en place de plates-formes d'exécution distribuées, ainsi qu'à de nouvelles E/S pour les intégrer à Beam Runners aux bases de données existantes, aux bases de données à valeur-clé et aux messages système. En outre, de nouvelles DSL ont été proposées pour prendre en charge des besoins spécifiques sur le modèle Beam.
Le 2017 Apache Beam devient un projet top-level[10].
| Version | Date de sortie initiale | La dernière version | Date de sortie |
|---|---|---|---|
| 0.6.0 | 2017-03-11 | 0.6.0 | 2017-03-11 |
| 0.5.0 | 2017-02-02 | 0.5.0 | 2017-02-02 |
| 0.4.0 | 2016-12-29 | 0.4.0 | 2016-12-29 |
| 0.3.0 | 2016-10-31 | 0.3.0 | 2016-10-31 |
| 0.2.0 | 2016-08-08 | 0.2.0 | 2016-08-08 |
| 0.1.0 | 2016-06-15 | 0.1.0 | 2016-06-15 |
