Imutabilitate și procesare leneșă

Curățarea datelor cu PySpark

Mike Metzger

Data Engineering Consultant

Recapitulare variabile

Variabilele Python:

  • Mutabile
  • Flexibilitate
  • Probleme potențiale cu concurența
  • Adaugă complexitate
Curățarea datelor cu PySpark

Imutabilitate

Variabilele imutabile sunt:

  • O componentă a programării funcționale
  • Definite o singură dată
  • Nu pot fi modificate direct
  • Recreate la reasignare
  • Partajabile eficient
Curățarea datelor cu PySpark

Exemplu de imutabilitate

Definirea unui nou cadru de date:

voter_df = spark.read.csv('voterdata.csv')

Efectuarea modificărilor:

voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)

voter_df = voter_df.drop(voter_df.year)
Curățarea datelor cu PySpark

Procesare leneșă

  • Nu este lent?
  • Transformări
  • Acțiuni
  • Permite planificare eficientă
voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)
voter_df = voter_df.drop(voter_df.year)

voter_df.count()
Curățarea datelor cu PySpark

Să exersăm!

Curățarea datelor cu PySpark

Preparing Video For Download...