Data Intelligence Platform – Daten

Einführung in Databricks

Kevin Barlow

Data Analytics Practitioner

Warum Datenmanagement für Unternehmen?

Schutz und Sicherheit

Datensicherheit

Vertrauen in Daten

Zuverlässige Analysen

Datenarten

Strukturiert

Am häufigsten und am verständlichsten
Typische Zeilen und Spalten
Beispiele:
- Datenbank-Tabellen
- .csv
- Parquet
- Delta

ID	Name	Beruf	Standort
1	Kevin	Data Scientist	Kalifornien
2	Tom	Architekt	Arizona
3	Sally	Anwältin	Texas
4	Tina	Chirurgin	Florida
5	Joe	Ingenieur	New York

Datenarten

Semistrukturiert

Häufig bei webbasierten Geräten
Etwas Struktur, aber flexibler beim Inhalt
Beispiele:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Datenarten

Unstrukturiert

Häufig bei Smart-Geräten, Kameras usw.
Wenig Struktur, viele Infos
Beispiele:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagramm zu unstrukturierten Daten

Delta

delta.io

Open-Source-Speicherformat
Sammlung von Parkett-Tabellen
JSON-Transaktionsprotokoll
Vollständig ACID-konform
Batch- und Streaming-Datensätze

Unity Catalog

Unity-Catalog-Datenmodell

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Unity-Catalog-Datenmodell

GRANT, SHOW, REVOKE, USE ...

Katalog-Explorer

Alle Datenbestände können an einem einzigen Ort analysiert werden
Benutzeroberfläche lädt zum Entdecken von Daten ein
Verwaltung der Unity Catalog-Berechtigungen
Anzeige der Datenherkunft und zugehöriger Assets

Screenshot des Katalog-Explorers

Lass uns üben!

Einführung in Databricks