Depozite de date și lacuri de date

Înțelegerea ingineriei datelor

Hadrien Lacroix

Content Developer

Depozite cu vedere spre lac

Înțelegerea ingineriei datelor

pipeline

Înțelegerea ingineriei datelor

Lacuri și depozite de date

Lac de date

  • Stochează toate datele brute
  • Poate ajunge la petabyți (1 milion GB)
  • Stochează toate structurile de date
  • Rentabil
  • Dificil de analizat
  • Necesită un catalog de date actualizat
  • Utilizat de oamenii de știință ai datelor
  • Big data, analiză în timp real

Depozit de date

  • Date specifice pentru utilizări specifice
  • Relativ mic
  • Stochează în principal date structurate
  • Actualizare mai costisitoare
  • Optimizat pentru analiza datelor
  • Utilizat și de analiști de date și de business
  • Interogări ad-hoc, doar pentru citire
Înțelegerea ingineriei datelor

Catalog de date pentru lacurile de date

  • Care este sursa acestor date?
  • Unde sunt utilizate aceste date?
  • Cine este proprietarul datelor?
  • Cât de des sunt actualizate datele?
  • Bună practică în guvernanța datelor
  • Asigură reproductibilitatea
  • Fără catalog --> mlaștină de date
  • Bună practică pentru orice soluție de stocare a datelor
    • Fiabilitate
    • Autonomie
    • Scalabilitate
    • Viteză
Înțelegerea ingineriei datelor

Bază de date vs. depozit de date

  • Bază de date:
    • Termen general
    • Definit ca date organizate, stocate și accesate pe un computer
  • Depozitul de date este un tip de bază de date
Înțelegerea ingineriei datelor

Rezumat

  • Lacuri de date
  • Depozite de date
  • Baze de date
  • Catalog de date
Înțelegerea ingineriei datelor

Să exersăm!

Înțelegerea ingineriei datelor

Preparing Video For Download...