स्ट्रक्चर्ड सोर्सेज़ से डेटा निकालना

Python में ETL और ELT

Jake Roach

Data Engineer

सोर्स सिस्टम्स

इस कोर्स में:

CSV फाइलें
Parquet फाइलें
JSON फाइलें
SQL डेटाबेस

डेटा इनसे भी आता है:

APIs
डेटा लेक्स
डेटा वेयरहाउस
वेब स्क्रैपिंग
... और भी बहुत कुछ!

Parquet फाइलें पढ़ना

Parquet फाइलें:

ओपन-सोर्स, कॉलम-ओरिएंटेड फाइल फॉर्मैट, जो फील्ड स्टोरेज और रिट्रीवल को कुशल बनाता है
CSV फाइलों जैसा अनुभव

import pandas as pd

# Read the parquet file into memory
raw_stock_data = pd.read_parquet("raw_stock_data.parquet", engine="fastparquet")

¹ https://www.databricks.com/glossary/what-is-parquet

SQL डेटाबेस से कनेक्ट करना

SQL डेटाबेस से डेटा pandas DataFrame में खींचा जा सकता है
एक कनेक्शन URI चाहिए ताकि इंजन बने और डेटाबेस से कनेक्ट हो सके

import sqlalchemy
import pandas as pd

# Connection URI: schema_identifier://username:password@host:port/db
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Query the SQL database
raw_stock_data = pd.read_sql("SELECT * FROM raw_stock_data LIMIT 10", db_engine)

मॉड्युलैरिटी

लॉजिक को फंक्शनों में बाँटना

पाइपलाइन की पठनीयता बढ़ती है
"don't repeat yourself" सिद्धांत का पालन होता है
ट्रबलशूटिंग तेज होती है

def extract_from_sql(connection_uri, query):
    # Create an engine, query data and return DataFrame
    db_engine = sqlalchemy.create_engine(connection_uri)
    return pd.read_sql(query, db_engine)

extract_from_sql("postgresql+psycopg2://.../market", "SELECT ... LIMIT 10;")

अभ्यास करते हैं!

Python में ETL और ELT