Ducklake

Le DuckLake Manifesto repose sur plusieurs constats concernant les architectures modernes de data lakes :

• La séparation entre stockage et calcul est désormais standard et bénéfique.
• Les formats ouverts (comme Parquet) sont essentiels pour éviter l’enfermement propriétaire.
• Les formats actuels complexifient la gestion des métadonnées en les distribuant sous forme de fichiers.

DuckLake propose donc une approche alternative :

• utiliser une base de données SQL comme couche unique de métadonnées ;
• conserver les données dans des formats ouverts ;
• exploiter les propriétés des bases de données (transactions ACID, indexation, requêtes efficaces) pour gérer les métadonnées.

DuckLake reprend plusieurs fonctionnalités clés des formats lakehouse modernes :

• transactions ACID ;
• gestion de versions (time travel) ;
• évolution de schéma ;
• séparation stockage/calcul.

Il introduit également des optimisations spécifiques, comme la notion "Data inlining"; Afin d'éviter la prolifération de petits fichiers ,améliorer les performances des charges de travail en streaming et réduire les besoins en opérations de maintenance (comme la compaction). DuckLake proposer stocker directement les petites modifications (insertions, suppressions, mises à jour) dans le catalogue SQL au lieu de créer immédiatement des fichiers de données.

• DuckDB
• Apache Iceberg

• Portail des logiciels libres
• Portail des données