Lagra data

Databasdesign

Lis Sulmont

Curriculum Manager

Strukturera data

1. Strukturerad data

Följer ett schema
Definierade datatyper och relationer

t.ex. SQL, tabeller i en relationsdatabas

2. Ostrukturerad data

Schemafri
Utgör merparten av all data i världen

t.ex. foton, chattloggar, MP3

3. Semistrukturerad data

Följer inget övergripande schema
Självbeskrivande struktur

t.ex. NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

Strukturera data

Diagram som visar spektrumet mellan strukturerad och ostrukturerad data

¹ Flower av Sam Oth och Database Diagram av Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

Lagra data bortom traditionella databaser

Traditionella databaser
- För att lagra realtidsbaserad relationsstrukturerad data ⟶ OLTP
Datalager
- För att analysera arkiverad strukturerad data ⟶ OLAP
Datasjöar
- För att lagra data av alla typer – flexibelt och skalbart
- För analys av big data

Datalager

Optimerat för analys – OLAP
- Organiserat för läsning och aggregering av data
- Vanligtvis skrivskyddat
Innehåller data från flera källor
Massivt parallell bearbetning (MPP)
Använder vanligtvis ett denormaliserat schema och dimensionsmodellering

Datamarknader

Delmängd av datalager
Dedikerade till ett specifikt ämne

Amazon Redshift, Google Big Query och Azure SQL Data Warehouse

Datamarknad som en delmängd av ett datalager

Datasjöar

Lagrar alla typer av data till lägre kostnad:
- t.ex. rådata, operativa databaser, IoT-enhetsloggar, realtidsdata, relationsdata och icke-relationsdata
Behåller all data och kan rymma petabyte
Schema-on-read i stället för schema-on-write
Kräver datakatalogisering – annars riskerar det att bli ett datakärr
Kör big data-analys med tjänster som Apache Spark och Hadoop
- Användbart för djupinlärning och datautforskning, som kräver stora datamängder

Lagra data

Strukturera data

Strukturera data

Lagra data bortom traditionella databaser

Datalager

Datasjöar

ETL

ELT

Nu kör vi en övning!