Exemple de arhitectură modernă a datelor

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Arhitectura Lambda

• Arhitectură de procesare a datelor
• Permite procesarea seturilor mari de date
• Permite procesarea datelor în timp real
• Combină procesarea batch și streaming
• 3 straturi principale:
  • Stratul batch
  • Stratul de viteză
  • Stratul de servire

Straturile arhitecturii Lambda: Batch

• Set de date principal
  • Date imuabile
  • Doar adăugare
• Vizualizări pre-calculate
• Conturi bancare
  • Set de date principal: lista tranzacțiilor
  • Vizualizări: tranzacții aplicate pentru obținerea soldului
• Acuratețe perfectă

Straturile arhitecturii Lambda: Viteză

• Joburi batch la un interval prestabilit
• Decalaj între datele cunoscute și realitate
• Stratul de viteză reduce acest decalaj
• Acuratețe imperfectă

Straturile arhitecturii Lambda: Servire

• Combinarea vizualizărilor batch și în timp real
• Vizualizare unificată a datelor

Complexitatea arhitecturii Lambda

• Două straturi cresc complexitatea
• Logică, cod și algoritmi duplicați
• Stive multiple: batch și streaming

Arhitectura Kappa

Lambda vs. Kappa

Aspect	Arhitectura Lambda	Arhitectura Kappa
Procesare batch	Prezentă	Prin reprocesarea sursei de evenimente
Procesare streaming	Prezentă	Prezentă
Complexitate	Ridicată	Redusă
Procesare în timp real	Întârziată de stratul batch	Directă și simplificată
Cazuri de utilizare	Analiză complexă, date istorice	Analiză în timp real, monitorizare în timp real

Să exersăm!

Înțelegerea arhitecturii moderne a datelor