pandas के साथ SQL डेटाबेस में डेटा लोड करना

Python में ETL और ELT

Jake Roach

Data Engineer

pandas से SQL डेटाबेस में डेटा लोड करें

लोड कंपोनेंट हाइलाइट के साथ ETL पाइपलाइन.

Python में ETL और ELT

pandas के साथ SQL डेटाबेस में डेटा लोड करना

डेटा कंज्यूमर SQL डेटाबेस एक्सेस कर रहे हैं.

pandas SQL में डेटा सहेजने के लिए .to_sql() देता है

  • name
  • con
  • if_exists
  • index
  • index_label
Python में ETL और ELT

pandas के साथ Postgres में डेटा सहेजना

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)
# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)
Python में ETL और ELT

pandas के साथ डेटा स्थायित्व वैलिडेट करना

यह सत्यापित करना ज़रूरी है कि डेटा उम्मीद के मुताबिक सहेजा गया है.

  • जाँचें कि डेटा क्वेरी हो सकता है
  • देखें कि काउंट्स मैच करते हैं
  • सुनिश्चित करें कि हर पंक्ति मौजूद है
# SQL टेबल से लिखा गया डेटा खींचें
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)
# काउंट, रिकॉर्ड समानता आदि वैलिडेट करें
...
Python में ETL और ELT

अभ्यास करते हैं!

Python में ETL और ELT

Preparing Video For Download...