Immutabilità e valutazione pigra

Pulizia dei dati con PySpark

Mike Metzger

Data Engineering Consultant

Ripasso variabili

Variabili in Python:

  • Mutabili
  • Flessibili
  • Possibili problemi di concorrenza
  • Tendono ad aumentare la complessità
Pulizia dei dati con PySpark

Immutabilità

Le variabili immutabili sono:

  • Un elemento della programmazione funzionale
  • Definite una volta sola
  • Non modificabili direttamente
  • Ricreate se riassegnate
  • Condivisibili in modo efficiente
Pulizia dei dati con PySpark

Esempio di immutabilità

Definisci un nuovo DataFrame:

voter_df = spark.read.csv('voterdata.csv')

Apporta modifiche:

voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)

voter_df = voter_df.drop(voter_df.year)
Pulizia dei dati con PySpark

Valutazione pigra

  • Non è lento?
  • Trasformazioni
  • Azioni
  • Consente una pianificazione efficiente
voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)
voter_df = voter_df.drop(voter_df.year)

voter_df.count()
Pulizia dei dati con PySpark

Let's practice!

Pulizia dei dati con PySpark

Preparing Video For Download...