Datarensning

Koncept för datalager

Aaren Stubberfield

Data Scientist

Videoagenda

• Revision av dataformat
• Adressparsning
• Datavalidering
• Deduplicering

Rensning av dataformat

• Uppdatera värden till förväntat format
  • Datum
  • Alternativnamn
  • Versalisering
• Säkerställer konsekvent utdataformat

Exempel med taxidata

Adressparsning

• Dela upp en gatuadress i dess komponenter
• Verktyg kan användas för att validera adresser

Adress
1234 S Normal St, Cleveland, OH 44102

Adress	Stad	Stat	Postnummer
1234 S Normal St	Cleveland	OH	44102

Datavalidering

• Intervallkontroll
  • Ligger värdet inom förväntat intervall?
  • Exempel: En persons ålder

• Typhontroll
  • Har värdet rätt datatyp?
  • Exempel: Ålder lagrad som sträng jämfört med tal

Eliminering av dublettrader

• Den här processen tar bort dubblettposter

Datastyrning

Nu kör vi en övning!

Koncept för datalager