लोडिंग

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Analytics या applications डेटाबेस

Analytics

Analytics को दर्शाता आइकन

Aggregate क्वेरियाँ
Online analytical processing (OLAP)

Applications

Applications को दर्शाता आइकन

बहुत सारी transactions
Online transaction processing (OLTP)

Column- और row-oriented

Analytics

Column-oriented

Column-oriented स्टोरेज का उदाहरण

कुछ कॉलमों के subset पर क्वेरियाँ
Parallelization

Applications

Row-oriented

Row-oriented स्टोरेज का उदाहरण

प्रति रिकॉर्ड स्टोर होता है
प्रति transaction जोड़ा जाता है
जैसे, customer जोड़ना तेज है

MPP डेटाबेस

Massively Parallel Processing डेटाबेस

MPP डेटाबेस का आरेख

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

एक उदाहरण: Redshift

फाइल से columnar स्टोरेज फॉर्मेट में लोड

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

PostgreSQL में लोड करें

pandas.to_sql()

# डेटा पर transformation
recommendations = transform_find_recommendatins(ratings_df)

# PostgreSQL डेटाबेस में लोड करें
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

अभ्यास करते हैं!

Introduction to Data Engineering