Data Intelligence Platform – dane

Wprowadzenie do Databricks

Kevin Barlow

Data Analytics Practitioner

Dlaczego organizacje dbają o zarządzanie danymi?

Ochrona i bezpieczeństwo

Bezpieczeństwo danych

Zaufanie do danych

Pewna analityka

Rodzaje danych

Ustrukturyzowane

Najczęstszy i najbardziej znany typ
Typowe wiersze i kolumny
Przykłady:
- tabele baz danych
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

Rodzaje danych

Częściowo ustrukturyzowane

Typowe dla urządzeń webowych
Pewna struktura, ale elastyczna zawartość
Przykłady:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Rodzaje danych

Nieustrukturyzowane

Typowe dla urządzeń smart, kamer itp.
Mała struktura, bogata w informacje
Przykłady:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagram danych nieustrukturyzowanych

Delta

delta.io

Format przechowywania open-source
Kolekcja tabel parquet
Dziennik transakcji JSON
W pełni zgodny z ACID
Dane wsadowe i strumieniowe

Unity Catalog

Model danych Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Model danych Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Jedno miejsce do przeglądania wszystkich zasobów danych
Interfejs do odkrywania danych
Zarządzanie uprawnieniami Unity Catalog
Podgląd rodowodu danych i powiązanych zasobów

Zrzut ekranu Catalog Explorer

Czas na ćwiczenia!

Wprowadzenie do Databricks