Arquitetura da plataforma

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

A analogia do hotel

$$

Control plane - "A recepção"

recraft: half: Uma recepção de hotel moderna com um concierge gerenciando reservas em telas, representando o Databricks coordenando e agendando

  • Gerenciado pelo Databricks
  • Faz a coordenação e recebe solicitações

$$

Data plane - "Seu quarto de hotel"

recraft: half: Um quarto de hotel privado e seguro, com cofre e mesa de trabalho, representando a conta de nuvem do cliente onde os dados vivem e o compute roda

  • Fica na sua conta de nuvem
  • Onde seus dados e o compute vivem
Introdução ao Databricks Lakehouse

O control plane

$$

  • Gerenciado pelo Databricks
  • Workspace UI e notebooks
  • Agendamento e orquestração de jobs
  • Gestão e configuração de clusters

$$

recraft: half: Uma recepção moderna com monitores organizados exibindo dashboards e quadros de agendamento, representando um centro de controle

Introdução ao Databricks Lakehouse

O data plane

$$

recraft: half: Uma sala-cofre segura com racks de servidores e caixas trancadas, representando a infraestrutura de nuvem do cliente

$$

  • Fica na sua conta de nuvem
  • Clusters de compute rodam aqui
  • Dados armazenados no seu storage em nuvem
  • Você controla acesso e rede
Introdução ao Databricks Lakehouse

O que fica onde?

nanobanana: full: Diagrama dividido com duas seções conectadas por setas: lado esquerdo rotulado Control Plane mostrando Workspace UI e Job Scheduler; lado direito rotulado Data Plane mostrando Clusters e Cloud Storage; setas fluem entre eles

Introdução ao Databricks Lakehouse

Audit logs e tabelas de sistema

$$

  • Audit logs rastreiam toda a atividade do workspace
  • Armazenados na sua conta de nuvem como tabelas de sistema
  • Consulte com SQL para relatórios de conformidade

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Introdução ao Databricks Lakehouse

Resumo

$$

  • Control plane - gerenciado pelo Databricks (UI, agendamento, gestão)
  • Data plane - sua nuvem (compute, storage, dados)
  • Audit logs - armazenados como tabelas de sistema na sua conta
  • Seus dados nunca saem do seu ambiente de nuvem
Introdução ao Databricks Lakehouse

Vamos praticar!

Introdução ao Databricks Lakehouse

Preparing Video For Download...