Por que o Lakehouse?

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

O que você vai aprender

$$

$$

logotipo empilhado em cores, formato completo

$$

Explore o Databricks Lakehouse

  1. Como os dados são organizados em um lakehouse
  2. Como gerenciar compute e notebooks
  3. Como governar e compartilhar dados com segurança
  4. Como implantar seu trabalho em produção
Introdução ao Databricks Lakehouse

Conheça a pessoa instrutora

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Austrália (2021-presente)

  • 9+ anos de experiência pós-PhD

       

Introdução ao Databricks Lakehouse

A promessa do data lake

$$

recraft: half: Um grande armazém aberto com barris e caixas coloridos de vários tamanhos, representando armazenamento de dados brutos diversos

$$

  • Armazene qualquer dado a baixo custo
  • Estruturados, semiestruturados, não estruturados
  • Schema-on-read flexível
Introdução ao Databricks Lakehouse

O lado sombrio do lake

$$

  • Sem garantia de qualidade dos dados
  • Sem governança ou controle de acesso nativos
  • "Data swamp" — difícil achar dados confiáveis
  • Ferramentas separadas para analytics e AI

$$

recraft: half: Um pântano escuro e turvo com cipós emaranhados e arquivos espalhados afundando na lama, representando um data swamp com dados perdidos e pouco confiáveis

Introdução ao Databricks Lakehouse

O trade-off do warehouse

$$

  • Confiável e performático
  • Forte governança
  • Mas caro e rígido
  • Limitado a dados estruturados

$$

recraft: half: Uma biblioteca organizada, com livros alinhados nas prateleiras, representando armazenamento de dados estruturados e confiáveis

Introdução ao Databricks Lakehouse

Surge o Lakehouse

$$

comparação: Data Lake, Flexível, Barato, Não estruturado | Data Warehouse, Confiável, Governado, Rígido

Introdução ao Databricks Lakehouse

O que faz funcionar no Databricks?

$$

  • Formatos abertos (Delta Lake)
  • Transações ACID no lake
  • Governança unificada (Unity Catalog)
  • Uma plataforma para analytics, AI e apps

$$

nanobanana: half: Quatro blocos empilhados formando uma torre, rotulados de baixo para cima: Formatos Abertos (Delta Lake), Transações ACID, Governança Unificada (Unity Catalog), Uma Plataforma para Analytics e AI, estilo infográfico limpo e moderno

Introdução ao Databricks Lakehouse

Lakehouse melhora a qualidade dos dados

$$

fluxo: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Aplicação de schema na escrita
  • Logs de transação rastreiam cada mudança
  • Time travel — consultar versões históricas
Introdução ao Databricks Lakehouse

Resumo

$$

  • Data lakes — flexíveis, porém pouco confiáveis
  • Data warehouses — confiáveis, porém rígidos e caros
  • Lakehouse — combina ambos em uma plataforma
  • Impulsionado por Delta Lake, ACID e Unity Catalog
Introdução ao Databricks Lakehouse

Vamos praticar!

Introdução ao Databricks Lakehouse

Preparing Video For Download...