どこから始めるか

PySparkで学ぶ特徴量エンジニアリング

John Hogue

Lead Data Scientist, General Mills

いきなり分析を始めると

未知の領域

モンスター

バージョンを確認しましょう！

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

データは Parquet 形式で提供

Parquet ファイル形式

PySpark の read メソッド

# JSON
spark.read.json('example.json')

# CSV or delimited files
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Read a parquet file to a PySpark DataFrame
df = spark.read.parquet('example.parq')

PySparkで学ぶ特徴量エンジニアリング