Ajouter plus de données

Ingénierie des caractéristiques avec PySpark

John Hogue

Lead Data Scientist, General Mills

Réflexions sur les jeux de données externes

AVANTAGES

  • Ajouter des prédicteurs clés
  • Compléter/remplacer des valeurs
  • Peu coûteux ou facile à obtenir

Combiner des données

INCONVÉNIENTS

  • Peut « ralentir » l'analyse
  • Fuite de données facile à provoquer
  • Devenir expert(e) du sujet du jeu de données

Responsabilité

Ingénierie des caractéristiques avec PySpark

À propos des jointures

Orienter nos données

  • À gauche : jeu de données de départ
  • À droite : nouveau jeu à intégrer

Jointures SQL

Ingénierie des caractéristiques avec PySpark

Jointures de DataFrame PySpark

DataFrame.join(

    other,      # Other DataFrame to merge

    on=None,    # The keys to join on

    how=None)   # Type of join to perform (default is 'inner')
Ingénierie des caractéristiques avec PySpark

Exemple de jointure PySpark

# Inspect dataframe head
hdf.show(2)

+----------+--------------------+
|        dt|                  nm|
+----------+--------------------+
|2012-01-02|        New Year Day|
|2012-01-16|Martin Luther Kin...|
+----------+--------------------+
only showing top 2 rows

# Specify join conditon
cond = [df['OFFMARKETDATE'] == hdf['dt']]

# Join two hdf onto df
df = df.join(hdf, on=cond, 'left')

# How many sales occurred on bank holidays?
df.where(~df['nm'].isNull()).count()

0
Ingénierie des caractéristiques avec PySpark

Jointure SparkSQL

  • Appliquer du SQL à votre DataFrame
# Register the dataframe as a temp table
df.createOrReplaceTempView("df")
hdf.createOrReplaceTempView("hdf")

# Write a SQL Statement
sql_df = spark.sql("""
                      SELECT 
                        *
                      FROM df
                      LEFT JOIN hdf
                      ON df.OFFMARKETDATE = hdf.dt
                   """)
Ingénierie des caractéristiques avec PySpark

Joignons des données !

Ingénierie des caractéristiques avec PySpark

Preparing Video For Download...