LakeForge — data lakehouse open source

Vue d'ensemble

Lakehouse local en Docker Compose : ingestion par lots depuis HuggingFace vers MinIO et ClickHouse avec un flow Prefect, transformations dbt bronze, silver et gold, tableau de bord React sur la couche gold, Grafana et Superset déjà provisionnés.

Le défi

Montrer un pipeline batch complet qui démarre en une commande et tient des millions de lignes, sans diapositives.

Approche architecturale

Ingestion, stockage, transformation et service comme services séparés, coordonnés par Prefect et observables depuis un seul compose.

La solution

Docker Compose avec health checks et ordre de dépendances, benchmarks inclus, tableau de bord sur mesure sur les avis Amazon (1 million de lignes par défaut, jusqu'à environ 4 millions) avec des benchmarks de requêtes sous 300 ms.

Fonctionnalités clés

• Architecture medallion dbt avec tests de schéma
• ClickHouse pour l'analytique, benchmarks inclus (1 M de lignes par défaut)
• Tableau de bord React sur nginx sans identifiants dans le navigateur
• Compose avec health checks, Prometheus, Grafana et Superset

Direction technologique

Code sur GitHub ↗

Les faits

• 1 million de lignes par défaut, jusqu'à environ 4 millions
• 7 requêtes sur 8 sous 300 ms sur ClickHouse
• 27 modèles dbt avec tests de schéma, Compose avec health checks