Ukládání dat

Database Design

Lis Sulmont

Curriculum Manager

Strukturování dat

1. Strukturovaná data

Dodržují schéma
Definované datové typy a vztahy

např. SQL, tabulky v relační databázi

2. Nestrukturovaná data

Bez schématu
Tvoří většinu dat na světě

např. fotografie, záznamy chatu, MP3

3. Semistrukturovaná data

Nedodržují obecné schéma
Samoopisná struktura

např. NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

Strukturování dat

Diagram znázorňující spektrum mezi strukturovanými a nestrukturovanými daty

¹ Flower od Sama Otha a Database Diagram od Nicka Jenkinse prostřednictvím Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

Ukládání dat mimo tradiční databáze

Tradiční databáze
- Pro ukládání relačních strukturovaných dat v reálném čase ⟶ OLTP
Datové sklady
- Pro analýzu archivovaných strukturovaných dat ⟶ OLAP
Datová jezera
- Pro ukládání dat všech struktur = flexibilita a škálovatelnost
- Pro analýzu velkých dat

Datové sklady

Optimalizováno pro analytiku – OLAP
- Organizováno pro čtení/agregaci dat
- Obvykle jen pro čtení
Obsahuje data z více zdrojů
Masivně paralelní zpracování (MPP)
Typicky používá denormalizované schéma a dimenzionální modelování

Datová tržiště

Podmnožina datových skladů
Zaměřena na konkrétní téma

Amazon Redshift, Google BigQuery a Azure SQL Data Warehouse

Datové tržiště jako podmnožina datového skladu

Datová jezera

Ukládají všechny typy dat za nižší náklady:
- např. surová data, provozní databáze, logy IoT zařízení, real-time, relační i nerelační
Uchovávají veškerá data, mohou dosahovat petabajtů
Schema-on-read namísto schema-on-write
Data je nutné katalogizovat, jinak vzniká datové bažiště
Umožňují analýzu velkých dat pomocí služeb jako Apache Spark a Hadoop
- Vhodné pro hluboké učení a průzkum dat náročný na datový objem

Ukládání dat

Strukturování dat

Strukturování dat

Ukládání dat mimo tradiční databáze

Datové sklady

Datová jezera

ETL

ELT

Pojďme procvičovat!