03 / PLATAFORMA DE DATOS · OPEN SOURCE
LakeForge — data lakehouse open source
Lakehouse local en Docker Compose: ingesta por lotes desde HuggingFace en MinIO y ClickHouse con un flujo Prefect, transformaciones dbt bronze, silver y gold, panel React sobre la capa gold, Grafana y Superset ya aprovisionados.
Resumen
Lakehouse local en Docker Compose: ingesta por lotes desde HuggingFace en MinIO y ClickHouse con un flujo Prefect, transformaciones dbt bronze, silver y gold, panel React sobre la capa gold, Grafana y Superset ya aprovisionados.
El reto
Mostrar una pipeline batch completa que arranque con un comando y soporte millones de filas, sin diapositivas.
Enfoque arquitectónico
Ingesta, almacenamiento, transformación y servicio como servicios separados, coordinados por Prefect y observables desde un único compose.
La solución
Docker Compose con health checks y orden de dependencias, benchmarks incluidos, dashboard propio sobre reseñas de Amazon (1 millón de filas por defecto, hasta unos 4 millones) con benchmarks de consultas por debajo de 300 ms.
Funciones principales
- Arquitectura medallion dbt con tests de esquema
- ClickHouse para analítica, benchmarks incluidos (1 M de filas por defecto)
- Panel React en nginx sin credenciales en el navegador
- Compose con health checks, Prometheus, Grafana y Superset
Dirección tecnológica
Los hechos
- 1 millón de filas por defecto, hasta unos 4 millones
- 7 de 8 consultas por debajo de 300 ms en ClickHouse
- 27 modelos dbt con tests de esquema, Compose con health checks
Siguiente proyecto