Введение в DataFrames PySpark
Введение в PySpark
Benjamin Schmidt
Data Engineer
О DataFrames
- DataFrames: табличный формат (строки/столбцы)
- Поддерживают SQL-подобные операции
- Аналог Pandas DataFrame или таблицы SQL
- Структурированные данные
Создание DataFrames из файлов
# Create a DataFrame from CSV
census_df = spark.read.csv('path/to/census.csv', header=True, inferSchema=True)
Вывод DataFrame
# Show the first 5 rows of the DataFrame
census_df.show()
age education.num marital.status occupation income
0 90 9 Widowed ? <=50K
1 82 9 Widowed Exec-managerial <=50K
2 66 10 Widowed ? <=50K
3 54 4 Divorced Machine-op-inspct <=50K
4 41 10 Separated Prof-specialty <=50K
Вывод схемы DataFrame
# Show the schema census_df.printSchema()Output: root |-- age: integer (nullable = true) |-- education.num: integer (nullable = true) |-- marital.status: string (nullable = true) |-- occupation: string (nullable = true) |-- income: string (nullable = true)
Базовая аналитика с PySpark DataFrames
# .count() will return the total row numbers in the DataFrame
row_count = census_df.count()
print(f'Number of rows: {row_count}')
# groupby() allows the use of sql-like aggregations
census_df.groupBy('gender').agg({'salary_usd': 'avg'}).show()
Другие агрегатные функции:
sum()min()max()
Ключевые функции для аналитики в PySpark
.select(): выбирает указанные столбцы DataFrame.filter(): фильтрует строки по заданным условиям.groupBy(): группирует строки по одному или нескольким столбцам.agg(): применяет агрегатные функции к сгруппированным данным
Пример использования ключевых функций
# Using filter and select, we can narrow down our DataFrame filtered_census_df = census_df.filter(df['age'] > 50).select('age', 'occupation') filtered_census_df.show()Output +---+------------------+ |age| occupation | +---+------------------+ | 90| ?| | 82| Exec-managerial| | 66| ?| | 54| Machine-op-inspct| +---+------------------+
Давайте потренируемся!
Введение в PySpark
