Oföränderlighet och lat bearbetning

Datarensning med PySpark

Mike Metzger

Data Engineering Consultant

Genomgång av variabler

Python-variabler:

  • Muterbara
  • Flexibla
  • Risk för problem vid samtidighet
  • Kan öka komplexiteten
Datarensning med PySpark

Oföränderlighet

Oföränderliga variabler:

  • Ingår i funktionell programmering
  • Definieras en gång
  • Kan inte ändras direkt
  • Återskapas vid omtilldelning
  • Kan delas effektivt
Datarensning med PySpark

Exempel på oföränderlighet

Definiera en ny dataram:

voter_df = spark.read.csv('voterdata.csv')

Göra ändringar:

voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)

voter_df = voter_df.drop(voter_df.year)
Datarensning med PySpark

Lat bearbetning

  • Är inte det långsamt?
  • Transformationer
  • Åtgärder
  • Möjliggör effektiv planering
voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)
voter_df = voter_df.drop(voter_df.year)

voter_df.count()
Datarensning med PySpark

Nu kör vi en övning!

Datarensning med PySpark

Preparing Video For Download...