Evaluarea soluțiilor moderne de arhitectură a datelor

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Ingestie

Soluție propusă cu ingestia evidențiată

  • Tipare imprevizibile
  • Ce-ar fi să extragem datele?
    • Expunerea fișierelor
    • Sistem de fișiere în rețea
Înțelegerea arhitecturii moderne a datelor

Stocare

Soluție propusă cu stocarea evidențiată

  • Stocarea în cloud este:

    • mai ieftină decât depozitele sau bazele de date
    • Flexibilă și expune API-urile necesare

  • BigQuery rămâne o opțiune?

    • Suficient de ieftin
    • Nefezabil din cauza limitărilor la încărcare

  • Politici de ciclu de viață pentru reducerea și mai mare a costurilor

Înțelegerea arhitecturii moderne a datelor

Procesare

Soluție propusă cu procesarea în flux evidențiată

  • Dataflow, Dataproc (Spark) sau Data Fusion
  • Tipare de sosire imprevizibile
  • Procesare a datelor la sosire
  • Simplitate
  • Date temporale
  • Curățare automată prin politici de ciclu de viață
  • Nu necesită întreținerea schemei
Înțelegerea arhitecturii moderne a datelor

Procesare: Scorurile modelului

Soluție propusă cu procesarea în lot evidențiată

  • Complex de urmărit în ansamblu
  • Mai ușor de întreținut
  • Job-ul anterior poate scrie în BD NoSQL, iar acesta completează datele
Înțelegerea arhitecturii moderne a datelor

Servirea datelor

Soluție propusă cu servirea datelor evidențiată

  • BigQuery pentru scopuri analitice
  • BD NoSQL => Scalabilitate și flexibilitate mai mari
Înțelegerea arhitecturii moderne a datelor

Alte detalii

  • Guvernanță, orchestrare, securitate și altele
  • Rafinarea platformei și a cerințelor
  • Management mai bun
  • Nu există o soluție universală!

Totul este o chestiune de compromisuri

Înțelegerea arhitecturii moderne a datelor

Să exersăm!

Înțelegerea arhitecturii moderne a datelor

Preparing Video For Download...