pandas के साथ SQL डेटाबेस में डेटा लोड करना

Python में ETL और ELT

Jake Roach

Data Engineer

pandas के साथ SQL डेटाबेस में डेटा लोड करें

लोड कॉम्पोनेंट हाइलाइट किए हुए ETL पाइपलाइन.

pandas से SQL डेटाबेस में डेटा लोड करना

डेटा कंज़्यूमर SQL डेटाबेस एक्सेस करते हुए.

pandas में डेटा को SQL में सेव करने के लिए .to_sql() है

name
con
if_exists
index
index_label

pandas के साथ Postgres में डेटा सेव करना

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

pandas के साथ डेटा persistence की वैलिडेशन

यह जाँचना ज़रूरी है कि डेटा अपेक्षा अनुसार सेव हुआ है.

सुनिश्चित करें कि डेटा क्वेरी हो सकता है
काउंट्स मेल खाते हों
हर रो मौजूद हो, यह वैलिडेट करें

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

अभ्यास करते हैं!

Python में ETL और ELT