Ativos-chave do Databricks SQL

Introduction to Databricks SQL

Kevin Barlow

Data Manager

Analogia útil

Uma árvore tem vários componentes, que juntos formam o todo

GIF do sistema de árvore

No Databricks SQL, diferentes componentes se combinam em uma solução de data warehouse

Ativos do Databricks SQL

Consulta

A "unidade" básica de análise no Databricks SQL
Executa código SQL no compute
Usa o padrão ANSI SQL
Processa dados de:
- Unity Catalog
- Tabelas Delta
- Arquivos do data lake
- Fluxos de dados

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL Warehouse

Cluster de compute dedicado a SQL
Otimizações (ex.: Photon)
Administração mais simples
Escalonamento fácil
Consultas e ferramentas de BI

GIF do SQL Warehouse

Tabelas versus visões

Tabelas

Materializações físicas de conjuntos de dados
Gravadas no formato Delta
Legíveis e acessíveis fora do pipeline de dados
Podem otimizar o layout (particionamento etc.)

Tabela no Object Storage

Tabelas versus visões

Visões

Representações virtuais de resultados de consultas no Unity Catalog
Leitura rápida
Ótimas para simplificar consultas downstream
- Consulta de origem tem muitos joins, filtros etc.
Processamento incremental disponível

Diagrama de visão

Visualizações e dashboards

Visualizações

Representações visuais do resultado de uma consulta
Criadas a partir de uma única consulta

Configurando visualizações

Dashboards

Coleção de várias visualizações
Em vários conjuntos de dados / resultados de consultas

Dashboard de exemplo

Vamos praticar!

Introduction to Databricks SQL