Plataforma de Inteligência de Dados - Dados

Introdução ao Databricks

Kevin Barlow

Data Analytics Practitioner

Por que as organizações se importam com gestão de dados?

Proteção e segurança

Segurança de dados

Confiança nos dados

Análises confiáveis

Tipos de dados

Estruturados

Mais comuns e bem entendidos
Linhas e colunas típicas
Exemplos:
- tabelas de banco de dados
- .csv
- Parquet
- Delta

id	nome	ocupação	localização
1	Kevin	Cientista de Dados	Califórnia
2	Tom	Arquiteto	Arizona
3	Sally	Advogada	Texas
4	Tina	Cirurgiã	Flórida
5	Joe	Engenheiro	Nova York

Tipos de dados

Semiestruturados

Comuns em dispositivos web
Alguma estrutura, conteúdo mais flexível
Exemplos:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Tipos de dados

Não estruturados

Comuns em dispositivos inteligentes, câmeras etc.
Pouca estrutura, ricos em informação
Exemplos:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagrama de dados não estruturados

Delta

delta.io

Formato de armazenamento open source
Conjunto de tabelas Parquet
Log de transações em JSON
Totalmente compatível com ACID
Suporta batch e streaming

Unity Catalog

Modelo de dados do Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Modelo de dados do Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Um só lugar para explorar todos os ativos de dados
UI para descobrir dados
Gerenciar permissões do Unity Catalog
Ver linhagem e ativos relacionados

Screenshot do Catalog Explorer

Vamos praticar!

Introdução ao Databricks