LakeForge — data lakehouse open source

Panoramica

Lakehouse locale in Docker Compose: ingestione batch da HuggingFace su MinIO e ClickHouse con flow Prefect, trasformazioni dbt bronze, silver e gold, dashboard React sul gold layer, Grafana e Superset già provisionati.

La sfida

Mostrare una pipeline batch completa che parta con un comando e regga milioni di righe, senza slide.

Approccio architetturale

Ingestione, storage, trasformazione e servizio come servizi separati, coordinati da Prefect e osservabili da un unico compose.

La soluzione

Docker Compose con health check e ordine di dipendenze, benchmark inclusi, dashboard custom sulle recensioni Amazon (1 milione di righe di default, fino a circa 4 milioni) con benchmark di query sotto i 300 ms.

Funzionalità principali

• Architettura medallion dbt con schema test
• ClickHouse per l'analitica, benchmark inclusi (1 M righe di default)
• Dashboard React su nginx senza credenziali nel browser
• Compose con health check, Prometheus, Grafana e Superset

Direzione tecnologica

Codice su GitHub ↗

I fatti

• 1 milione di righe di default, fino a circa 4 milioni
• 7 query su 8 sotto i 300 ms su ClickHouse
• 27 modelli dbt con schema test, Compose con health check