Par où commencer

Feature Engineering avec PySpark

John Hogue

Lead Data Scientist, General Mills

Plonger directement dans l'analyse

Ici, il y a des monstres

Monstres

Processus Data Science

Vérifiez vos versions !

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Les données sont fournies en Parquet

Stockage par colonnes
- Requêtes rapides sur des sous-ensembles de colonnes
Structuré, schéma défini
- Champs et types définis
- Idéal pour du texte désordonné
Adopté par l'industrie
- Une compétence précieuse ! 😃

Format de fichier Parquet

Méthodes PySpark read

# JSON
spark.read.json('example.json')

# Fichiers CSV ou délimités
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Lire un fichier Parquet dans un DataFrame PySpark
df = spark.read.parquet('example.parq')

Feature Engineering avec PySpark