Care este diferența dintre depozitele de date și lacurile de date?

Concepte de Data Warehousing

Aaren Stubberfield

Data Scientist

Bază de date

  • Date structurate în rânduri și coloane
  • Bazele de date tranzacționale stochează tranzacții

Trei tabele de baze de date

Concepte de Data Warehousing

Depozit de date

  • Colectează, integrează și pune datele la dispoziție pentru analiză
  • Multe surse de date de intrare
  • Stochează date structurate
  • Complex de modificat
    • Efectele în amonte și în aval trebuie luate în considerare
  • De obicei >100 GB

Trei tabele de baze de date care alimentează un depozit de date

Concepte de Data Warehousing

De ce depozitul de date?

  • Viteza interogărilor pe volume mari de date
  • Evitarea încetinirii bazei de date tranzacționale

Persoană frustrată de date lente

Concepte de Data Warehousing

Data mart

  • Bază de date relațională pentru analiză
  • Date focalizate pe un singur domeniu
  • Puține surse de date de intrare
  • De obicei <100 GB

Depozit de date care alimentează un data mart

Concepte de Data Warehousing

Lac de date

  • Stochează datele întregii organizații
    • Date din mai multe departamente
    • Multe surse de date de intrare
    • De obicei >100 GB
  • Stochează date structurate și nestructurate
    • Exemple: video, audio și documente

Fișiere audio și video împreună cu o bază de date care alimentează un lac de date

Concepte de Data Warehousing

Lac de date

  • Modificările sunt mai puțin complexe
    • Efecte reduse în amonte și în aval
  • Scopul datelor poate fi necunoscut
    • Mai puțin organizat

Fișiere audio și video împreună cu o bază de date care alimentează un lac de date

Concepte de Data Warehousing

Rezumat

Caracteristică Depozit de date Data mart Lac de date
Structura datelor Structurate Structurate Structurate & Nestructurate
Complexitatea modificărilor Complexă Complexă Mai puțin complexă
Scopul datelor Cunoscut Cunoscut Poate fi necunoscut
Acoperire departamente Mai multe Unul singur Mai multe
Surse de date Mai multe sisteme Puține surse Mai multe sisteme
Dimensiune tipică >100 GB <100 GB >100 GB
Concepte de Data Warehousing

Să exersăm!

Concepte de Data Warehousing

Preparing Video For Download...