Ingestione dei dati

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Cos’è l’ingestione dei dati?

• Requisiti funzionali
• La funzione può essere influenzata dall’analisi

Ingestion batch

• Pianificata per acquisire dati periodicamente
• Copia sulla piattaforma per l’analisi
• Leggere tutto vs solo le novità
• Dataset grandi richiedono letture parziali
• I dataset piccoli si possono sovrascrivere

Ingestion batch: porta solo ciò che è cambiato

• Risorse infinite: impossibili
• Ingerisci solo ciò che è cambiato
• Timestamp di aggiornamento o flag
• Stato più recente dei dati
• Le eliminazioni richiedono un flag o consolidamento

Ingestion in streaming

• Modello push
• Code di eventi
• Calcolo 24/7
• Zona di atterraggio

Esercitiamoci!

Comprendere la data architecture moderna