З чого почати

Опрацювання ознак у PySpark

John Hogue

Lead Data Scientist, General Mills

Одразу пірнаємо в аналіз

Обережно: Тут чудовиська

Чудовиська

Перевіряйте свої версії!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

Дані надаються у форматі Parquet

Зберігаються стовпцями
- Швидкі запити підмножин стовпців
Структуровані, зі схемою
- Поля й типи даних визначені
- Чудово для неохайного тексту
Промисловий стандарт
- Корисна навичка! 😃

Формат файлів Parquet

Методи PySpark read

# JSON
spark.read.json('example.json')

# CSV або розділені файли
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# Зчитати файл parquet до датафрейму PySpark
df = spark.read.parquet('example.parq')

Опрацювання ознак у PySpark