Datová inteligentní platforma – Data

Introduction to Databricks

Kevin Barlow

Data Analytics Practitioner

Proč organizace dbají na správu dat?

Ochrana a zabezpečení

Zabezpečení dat

Důvěra v data

Spolehlivá analytika

Typy dat

Strukturovaná

Nejrozšířenější a nejlépe srozumitelná
Typické řádky a sloupce
Příklady:
- databázové tabulky
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

Typy dat

Polostrukturovaná

Běžná u webových zařízení
Určitá struktura, ale flexibilnější obsah
Příklady:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Typy dat

Nestrukturovaná

Běžná u chytrých zařízení, kamer apod.
Malá struktura, bohatá na informace
Příklady:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagram nestrukturovaných dat

Delta

delta.io

Open-source formát úložiště
Kolekce tabulek Parquet
Transakční log ve formátu JSON
Plně ACID kompatibilní
Dávkové i streamované datové sady

Unity Catalog

Datový model Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Datový model Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Jedno místo pro správu všech datových aktiv
Uživatelské rozhraní pro průzkum dat
Správa oprávnění Unity Catalog
Zobrazení datové linie a souvisejících aktiv

Snímek obrazovky Catalog Explorer

Pojďme si procvičit!

Introduction to Databricks