Par où commencer

Ingénierie des caractéristiques avec PySpark

John Hogue

Lead Data Scientist, General Mills

Plonger directement dans l'analyse

Ici, il y a des monstres

Monstres

Processus Data Science

Vérifiez vos versions !

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Les données sont fournies en Parquet

Stockage par colonnes
- Rapide pour interroger des sous-ensembles de colonnes
Structuré, schéma défini
- Champs et types de données définis
- Idéal pour des textes brouillons
Adopté par l'industrie
- Une bonne compétence à avoir ! 😃

Format de fichier Parquet

Méthodes read de PySpark

# JSON
spark.read.json('example.json')

# Fichiers CSV ou délimités
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Lire un fichier Parquet dans un DataFrame PySpark
df = spark.read.parquet('example.parq')

Ingénierie des caractéristiques avec PySpark