लोडिंग

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Analytics या applications डेटाबेस

Analytics

Analytics दर्शाता आइकन

Aggregate क्वेरीज़
Online analytical processing (OLAP)

Applications

Applications दर्शाता आइकन

बहुत सारे transactions
Online transaction processing (OLTP)

Column- और row-oriented

Analytics

Column-oriented

Column-oriented स्टोरेज का उदाहरण

कुछ कॉलम्स के उपसमुच्चय पर क्वेरीज़
Parallelization

Applications

Row-oriented

Row-oriented स्टोरेज का उदाहरण

प्रति रिकॉर्ड स्टोर होता है
प्रति ट्रांज़ैक्शन जोड़ा जाता है
जैसे, कस्टमर जोड़ना तेज है

MPP डेटाबेस

Massively Parallel Processing Databases

MPP डेटाबेस का आरेख

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

उदाहरण: Redshift

फ़ाइल से columnar स्टोरेज फॉर्मेट में लोड करें

# Pandas .to_parquet() method
df.to_parquet("./s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("./s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

PostgreSQL में लोड करें

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

अभ्यास करते हैं!

Introduction to Data Engineering