Imutabilidade e processamento preguiçoso

Limpeza de dados com o PySpark

Mike Metzger

Data Engineering Consultant

Revisão de variáveis

Variáveis em Python:

  • Mutáveis
  • Flexíveis
  • Podem causar problemas de concorrência
  • Tendem a aumentar a complexidade
Limpeza de dados com o PySpark

Imutabilidade

Variáveis imutáveis são:

  • Um componente de programação funcional
  • Definidas uma vez
  • Não podem ser modificadas diretamente
  • Recriadas ao serem reatribuídas
  • Podem ser compartilhadas com eficiência
Limpeza de dados com o PySpark

Exemplo de imutabilidade

Defina um novo data frame:

voter_df = spark.read.csv('voterdata.csv')

Fazendo alterações:

voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)

voter_df = voter_df.drop(voter_df.year)
Limpeza de dados com o PySpark

Processamento preguiçoso

  • Isso não é lento?
  • Transformações
  • Ações
  • Permite planejamento eficiente
voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)
voter_df = voter_df.drop(voter_df.year)

voter_df.count()
Limpeza de dados com o PySpark

Vamos praticar!

Limpeza de dados com o PySpark

Preparing Video For Download...