Data Intelligence Platform – Daten

Einführung in Databricks

Kevin Barlow

Data Analytics Practitioner

Warum Datenmanagement für Unternehmen?

Schutz und Sicherheit

Datensicherheit

Vertrauen in Daten

Confident Analytics

Datenarten

Strukturiert

Am häufigsten und am verständlichsten
Zeilen und Spalten
Beispiele:
- Datenbanktabellen
- .csv
- Parquet
- Delta

ID	Name	Beruf	Ort
1	Kevin	Data Scientist	Kalifornien
2	Tom	Architekt	Arizona
3	Sally	Anwältin	Texas
4	Tina	Chirurgin	Florida
5	Joe	Ingenieur	New York

Datenarten

Semistrukturiert

Häufig bei webbasierten Geräten
Etwas Struktur, aber inhaltlich flexibler
Beispiele:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Datenarten

Unstrukturiert

Häufig bei smarten Geräten, Kameras usw.
Wenig Struktur, hoher Informationsgehalt
Beispiele:
- JPEG
- PNG
- MP4
- PDF
- DOC

Unstrukturierte-Daten-Diagramm

Delta

delta.io

Open-Source-Speicherformat
Sammlung von Parquet-Tabellen
JSON-Transaktionsprotokoll
Vollständig ACID-konform
Batch- und Streaming-Datensätze

Unity Catalog

Unity Catalog-Datenmodell

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Unity Catalog-Datenmodell

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Zentraler Bereich, um alle Datenbestände zu erkunden
Benutzeroberfläche zum Entdecken von Daten
Verwaltung der Unity Catalog-Berechtigungen
Anzeige der Datenherkunft und zugehöriger Assets

Katalog-Explorer-Screenshot

Probier es aus!

Einführung in Databricks