从哪里开始

使用 PySpark 进行特征工程

John Hogue

Lead Data Scientist, General Mills

直接开始分析

此处有怪兽

请检查您的版本！

  # 返回 spark 版本
  spark.version

  # 返回 python 版本
  import sys
  sys.version_info

数据以 Parquet 提供

Parquet 文件格式

PySpark 的 read 方法

# JSON
spark.read.json('example.json')

# CSV 或分隔文件
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# 读取 Parquet 文件为 PySpark DataFrame
df = spark.read.parquet('example.parq')

使用 PySpark 进行特征工程