Piattaforma di Data Intelligence - Dati

Introduzione a Databricks

Kevin Barlow

Data Analytics Practitioner

Perché le organizzazioni tengono alla gestione dei dati?

Protezione e sicurezza

Sicurezza dei dati

Fiducia nei dati

Analytics affidabili

Tipi di dati

Strutturati

I più comuni e compresi
Tipiche righe e colonne
Esempi:
- tabelle di database
- .csv
- Parquet
- Delta

id	nome	occupazione	posizione
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

Tipi di dati

Semi-strutturati

Comuni con dispositivi web
Un po’ di struttura, contenuto più flessibile
Esempi:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Tipi di dati

Non strutturati

Comuni con dispositivi smart, fotocamere, ecc.
Poca struttura, ricchi di informazioni
Esempi:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagramma dati non strutturati

Delta

delta.io

Formato di storage open source
Collezione di tabelle Parquet
Log transazioni JSON
Pieno supporto ACID
Dataset batch e streaming

Unity Catalog

Modello dati di Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Modello dati di Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Un’unica posizione per esplorare tutti gli asset dati
UI per scoprire i dati
Gestisci i permessi di Unity Catalog
Vedi lineage e asset correlati

Screenshot di Catalog Explorer

Passons à la pratique !

Introduzione a Databricks