Завантаження

Вступ до Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Бази даних для аналітики чи застосунків

Аналітика

Піктограма, що позначає аналітику

Агрегувальні запити
Онлайнова аналітична обробка (OLAP)

Застосунки

Піктограма, що позначає застосунки

Багато транзакцій
Онлайнова обробка транзакцій (OLTP)

Стовпчикова й рядкова орієнтації

Аналітика

Стовпчикова орієнтація

Приклад стовпчикового зберігання

Запити до підмножини стовпчиків
Паралелізація

Застосунки

Рядкова орієнтація

Приклад рядкового зберігання

Зберігається на запис
Додається на транзакцію
Напр., додати клієнта — швидко

MPP-бази даних

Бази даних з масово-паралельною обробкою

Схема MPP-бази даних

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

Приклад: Redshift

Завантаження з файла у стовпчиковий формат зберігання

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

Завантаження до PostgreSQL

pandas.to_sql()

# Трансформація даних
recommendations = transform_find_recommendatins(ratings_df)

# Завантаження у базу PostgreSQL
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

Давайте потренуємось!

Вступ до Data Engineering