Příklady moderní datové architektury

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Architektura Lambda

• Architektura pro zpracování dat
• Umožňuje zpracování rozsáhlých datových sad
• Umožňuje zpracování dat v reálném čase
• Kombinuje dávkové a streamované zpracování
• 3 hlavní vrstvy:
  • Dávková vrstva
  • Rychlostní vrstva
  • Obslužná vrstva

Vrstvy architektury Lambda: Dávková

• Hlavní datová sada
  • Neměnná data
  • Pouze přidávání záznamu
• Předpočítané pohledy
• Bankovní účty
  • Hlavní datová sada: seznam transakcí
  • Pohledy: transakce aplikované pro výpočet zůstatku
• Dokonalá přesnost

Vrstvy architektury Lambda: Rychlostní

• Dávkové úlohy podle daného plánu
• Mezera mezi známými daty a realitou
• Rychlostní vrstva tuto mezeru uzavírá
• Neperfektní přesnost

Vrstvy architektury Lambda: Obslužná

• Sloučení dávkových a real-time pohledů
• Jednotný pohled na data

Složitost architektury Lambda

• Dvě vrstvy zvyšují složitost
• Duplicitní logika, kód, algoritmy
• Více zásobníků: dávkové a streamované zpracování

Architektura Kappa

Lambda vs. Kappa

Aspekt	Architektura Lambda	Architektura Kappa
Dávkové zpracování	Přítomno	Opakovaným zpracováním zdroje událostí
Streamované zpracování	Přítomno	Přítomno
Složitost	Vyšší	Nižší
Zpracování v reálném čase	Zpomaleno dávkovou vrstvou	Přímé a zjednodušené
Případy použití	Komplexní analýzy, historická data	Real-time analytika, real-time monitoring

Pojďme si procvičit!

Porozumění moderní datové architektuře