Datenbanken

Einführung in das Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Was sind Datenbanken?

 

Bild einer Datenbank

Eine üblicherweise große Sammlung von Daten, die speziell für die schnelle Suche und den schnellen Abruf organisiert ist.

 

  • Speichert Daten
  • Organisiert Daten
  • Ruft Daten über DBMS ab und sucht sie
Einführung in das Data Engineering

Datenbanken und Dateispeicherung

Datenbanken

 

Bild einer Datenbank

  • Sehr organisiert
  • Funktionen wie Suche, Replikation, ...

Dateisysteme

 

Bild der Datei

  • Weniger organisiert
  • Einfach, weniger zusätzliche Funktionen
Einführung in das Data Engineering

Strukturierte und unstrukturierte Daten

Strukturiert: Datenbankschema

  • Relationale Datenbank

 

Halbstrukturiert

  • JSON

 

Unstrukturiert: ohne Schema, eher wie Dateien

  • Videos, Fotos

Bild einer Datenbank

 

{ "key": "value"}

 

Bild der Datei

Einführung in das Data Engineering

SQL und NoSQL

SQL

  • Tabellen
  • Datenbankschema
  • Relationale Datenbanken

 

MySQL-Bild

PostgreSQL-Bild

NoSQL

  • Nicht-relationale Datenbanken
  • Strukturiert oder unstrukturiert
  • Schlüsselwertspeicher (z. B. Caching)
  • Dokumentdatenbank (z. B. JSON-Objekte)

 

Redis/MongoDB-Bild

Einführung in das Data Engineering

SQL: Das Datenbankschema

-- Create Customer Table 
CREATE TABLE "Customer" (
  "id" SERIAL NOT NULL,
  "first_name" varchar,
  "last_name" varchar,
  PRIMARY KEY ("id")
);

-- Create Order Table 
CREATE TABLE "Order" (
  "id" SERIAL NOT NULL,
  "customer_id" integer REFERENCES "Customer",
  "product_name" varchar,
  "product_price" integer,
  PRIMARY KEY ("id")
);

Datenbankschema für Kunden und Bestellungen

-- Join both tables on foreign key
SELECT * FROM "Customer"
INNER JOIN "Order"
ON "customer_id" = "Customer"."id";

 id | first_name | ... | product_price
  1 | Vincent    | ... |            10
Einführung in das Data Engineering

SQL: Sternschema

Das Sternschema besteht aus einer oder mehreren Faktentabellen, die auf beliebig viele Dimensionstabellen verweisen.

Sternschema-Diagramm von Kunden und Bestellungen

  • Fakten: Dinge, die passiert sind (z. B. Produktbestellungen)
  • Dimensionen: Informationen über die Welt (z. B. Kundeninformationen)
1 Wikipedia https://en.wikipedia.org/wiki/Star_schema
Einführung in das Data Engineering

Lass uns üben!

Einführung in das Data Engineering

Preparing Video For Download...