Databearbetning

Introduktion till datatekniker

Hadrien Lacroix

Content Developer at DataCamp

datapipeline

flytta data till datasjön

flytta data till datasjön

kontrollera skadad data

En allmän definition

Databearbetning: omvandla rådata till meningsfull information

Värdet av databearbetning

Konceptuellt

Ta bort oönskad data
Optimera minnes-, process- och nätverkskostnader
Konvertera data från en typ till en annan

På Spotflix

Inget långsiktigt behov av testfunktionsdata
Råd inte att lagra och streama så stora filer

datapipeline

datapipeline

datapipeline

Värdet av databearbetning

Konceptuellt

Ta bort oönskad data
För att spara minne
Konvertera data från en typ till en annan
Organisera data
För att passa ett schema/en struktur
Öka produktiviteten

På Spotflix

Inget behov av förlustfritt format
Råd inte att lagra så stora filer
Konvertera låtar från .flac till .ogg
Omorganisera data från datasjön till datalager
Exempel med anställdtabell
Möjliggör för datavetare

Hur dataingenjörer bearbetar data

Datamanipulering, rensning och strukturering
- som kan automatiseras
- som alltid behöver utföras
Lagra data i en välstrukturerad databas
Skapa vyer ovanpå databastabellerna
Optimera databasens prestanda

Avvisa skadade låtfiler
Bestämma vad som händer med saknade metadata
Separata tabeller för artister och album...
...men tillhandahåll en vy som kombinerar dem
Indexering

¹ Skillnaden mellan batch och ström förklaras i nästa lektion!

Apache Spark-logotyp

Sammanfattning

Vad databearbetning är
Varför det behövs
Vad det innebär
Hur vi bearbetar data på Spotflix

Nu kör vi en övning!

Introduktion till datatekniker

Preparing Video For Download...