Data Intelligence Platform - Data

Introduktion till Databricks

Kevin Barlow

Data Analytics Practitioner

Varför bryr sig organisationer om datahantering?

Skydd och säkerhet

Datasäkerhet

Förtroende för data

Konfident analys

Typer av data

Strukturerad

Vanligast och lättast att förstå
Typiska rader och kolumner
Exempel:
- databastabeller
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

Typer av data

Semistrukturerad

Vanlig för webbaserade enheter
Viss struktur, men flexibelt innehåll
Exempel:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Typer av data

Ostrukturerad

Vanlig för smarta enheter, kameror m.m.
Liten struktur men informationsrik
Exempel:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagram över ostrukturerad data

Delta

delta.io

Lagringsformat med öppen källkod
Samling av Parquet-tabeller
JSON-transaktionslogg
Fullt ACID-kompatibelt
Batch- och strömmande datamängder

Unity Catalog

Datamodell för Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Datamodell för Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Gemensam plats för alla datatillgångar
Gränssnitt för att utforska data
Hantera behörigheter i Unity Catalog
Visa datalinjering och relaterade tillgångar

Skärmbild av Catalog Explorer

Nu kör vi en övning!

Introduktion till Databricks