Příjem dat

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Co je příjem dat?

  • Funkční požadavky
  • Analytika může ovlivnit funkční požadavky

Obecná architektura velkých dat zahrnující zdroje dat, příjem, úložiště, zpracování, orchestraci, správu, poskytování, analytické úložiště a reporting

Porozumění moderní datové architektuře

Dávkový příjem dat

  • Pravidelný příjem dat podle plánu
  • Kopírování do platformy pro analytiku
  • Čtení všech dat vs. pouze nových
  • Velké datové sady vyžadují částečné čtení
  • Menší datové sady lze přepsat
Porozumění moderní datové architektuře

Dávkový příjem: pouze změněná data

  • Neomezené zdroje nejsou možné
  • Přijímat pouze změněná data
  • Časové razítko aktualizace nebo příznak
  • Aktuální stav dat
  • Smazání vyžaduje příznak nebo konsolidaci
Porozumění moderní datové architektuře

Streamovací příjem dat

  • Model push
  • Fronty událostí
  • Nepřetržitý výpočet
  • Vstupní zóna

Pracovní postup streamovacího příjmu dat

Porozumění moderní datové architektuře

Pojďme si procvičit!

Porozumění moderní datové architektuře

Preparing Video For Download...