Datainmatning

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Vad är datainmatning?

  • Funktionella krav
  • Funktionella krav kan påverkas av analys

Generisk big data-arkitektur med datakällor, inmatning, lagring, bearbetning, orkestrering, styrning, servering samt analyslager och rapportering

Förstå modern dataarkitektur

Batchinmatning

  • Schemalagd för att mata in data periodiskt
  • Kopieras till vår plattform för analys
  • Läsa all data kontra enbart ny data
  • Stora datamängder kräver partiell inläsning
  • Mindre datamängder kan skrivas över
Förstå modern dataarkitektur

Batchinmatning: Ta bara in det som ändrats

  • Obegränsade resurser är omöjligt
  • Mata bara in det som förändrats
  • Uppdaterad vid tidsstämpel eller flagga
  • Datats senaste tillstånd
  • Radering kräver en flagga eller konsolidering
Förstå modern dataarkitektur

Strömmande inmatning

  • Push-modell
  • Händelseköer
  • Dygnet-runt-beräkning
  • Landningszon

Arbetsflöde för strömmande inmatning

Förstå modern dataarkitektur

Nu kör vi en övning!

Förstå modern dataarkitektur

Preparing Video For Download...