Stocarea datelor

Proiectarea bazelor de date

Lis Sulmont

Curriculum Manager

Structurarea datelor

1. Date structurate

Urmează o schemă
Tipuri de date și relații definite

ex., SQL, tabele într-o bază de date relațională

2. Date nestructurate

Fără schemă
Reprezintă cea mai mare parte a datelor din lume

ex., fotografii, jurnale de chat, MP3

3. Date semi-structurate

Nu urmează o schemă largă
Structură auto-descriptivă

ex., NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

Structurarea datelor

Diagramă ilustrând spectrul dintre datele structurate și cele nestructurate

¹ Flower de Sam Oth și Database Diagram de Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

Stocarea datelor dincolo de bazele de date tradiționale

Baze de date tradiționale
- Pentru stocarea datelor structurate relaționale în timp real ⟶ OLTP
Depozite de date
- Pentru analiza datelor structurate arhivate ⟶ OLAP
Lacuri de date
- Pentru stocarea datelor de orice structură = flexibilitate și scalabilitate
- Pentru analiza big data

Depozite de date

Optimizat pentru analiză - OLAP
- Organizat pentru citirea/agregarea datelor
- De obicei doar pentru citire
Conține date din mai multe surse
Procesare Masiv Paralelă (MPP)
Utilizează de obicei o schemă denormalizată și modelare dimensională

Data marts

Subset al depozitelor de date
Dedicat unui subiect specific

Amazon Redshift, Google Big Query și Azure SQL Data Warehouse

Data mart ca subset al unui depozit de date

Lacuri de date

Stochează toate tipurile de date la un cost mai redus:
- ex., date brute, baze de date operaționale, jurnale IoT, date în timp real, relaționale și nerelaționale
Păstrează toate datele, putând ajunge la petabytes
Schema-on-read, spre deosebire de schema-on-write
Necesită catalogarea datelor, altfel devine o mlaștină de date
Execută analize big data folosind servicii precum Apache Spark și Hadoop
- Util pentru deep learning și descoperirea datelor, deoarece aceste activități necesită volume mari de date

Stocarea datelor

Structurarea datelor

Structurarea datelor

Stocarea datelor dincolo de bazele de date tradiționale

Depozite de date

Lacuri de date

ETL

ELT

Să exersăm!