¿Por qué el Lakehouse?

Introducción a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Qué aprenderás

$$

$$

logotipo apilado a color completo

$$

Explora Databricks Lakehouse

  1. Cómo se organizan los datos en un lakehouse
  2. Cómo gestionar el cómputo y los cuadernos
  3. Cómo gobernar y compartir datos con seguridad
  4. Cómo desplegar tu trabajo a producción
Introducción a Databricks Lakehouse

Conoce al instructor

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australia (2021–presente)

  • Más de 9 años de experiencia posdoctorado

       

Introducción a Databricks Lakehouse

La promesa del data lake

$$

recraft: half: Un gran almacén abierto lleno de barriles y cajas de colores de varios tamaños, que representa almacenamiento de datos en bruto diverso

$$

  • Guarda cualquier dato a bajo coste
  • Estructurado, semiestructurado y no estructurado
  • Esquema en lectura flexible
Introducción a Databricks Lakehouse

El lado oscuro del lago

$$

  • Sin garantías de calidad de datos
  • Sin gobierno ni control de acceso integrados
  • «Data swamp»: difícil hallar datos fiables
  • Se requieren herramientas separadas para analítica y AI

$$

recraft: half: Un pantano oscuro y turbio con lianas enredadas y archivos esparcidos hundiéndose en el barro, que representa un data swamp con datos perdidos e inciertos

Introducción a Databricks Lakehouse

El compromiso del warehouse

$$

  • Fiable y con buen rendimiento
  • Gobierno sólido
  • Pero caro y rígido
  • Limitado solo a datos estructurados

$$

recraft: half: Una biblioteca ordenada con libros bien apilados en estanterías, que representa almacenamiento de datos estructurados y fiables

Introducción a Databricks Lakehouse

Llega el Lakehouse

$$

comparación: Data lake, flexible, barato, no estructurado | Data warehouse, fiable, gobernado, rígido

Introducción a Databricks Lakehouse

¿Qué lo hace funcionar en Databricks?

$$

  • Formatos abiertos (Delta Lake)
  • Transacciones ACID en el lago
  • Gobierno unificado (Unity Catalog)
  • Una sola plataforma para analítica, AI y apps

$$

nanobanana: half: Cuatro bloques apilados formando una torre, de abajo a arriba: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, estilo infográfico moderno y limpio

Introducción a Databricks Lakehouse

Lakehouse mejora la calidad de datos

$$

diagrama de flujo: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Cumplimiento de esquema al escribir
  • Logs de transacciones registran cada cambio
  • «Time travel»: consulta versiones históricas
Introducción a Databricks Lakehouse

Resumen

$$

  • Data lakes: flexibles pero poco fiables
  • Data warehouses: fiables pero rígidos y costosos
  • Lakehouse: combina ambos en una plataforma
  • Impulsado por Delta Lake, ACID y Unity Catalog
Introducción a Databricks Lakehouse

¡Vamos a practicar!

Introducción a Databricks Lakehouse

Preparing Video For Download...