Charger des données dans une base SQL avec pandas

ETL et ELT en Python

Jake Roach

Data Engineer

Charger des données dans une base SQL avec pandas

Pipeline ETL avec le composant « load » en surbrillance.

ETL et ELT en Python

Charger des données dans une base SQL avec pandas

Consommateurs de données accédant à une base SQL.

pandas offre .to_sql() pour enregistrer des données dans SQL

  • name
  • con
  • if_exists
  • index
  • index_label
ETL et ELT en Python

Enregistrer des données dans Postgres avec pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)
ETL et ELT en Python

Valider la persistance des données avec pandas

Il est important de valider que les données sont bien enregistrées.

  • Vérifier que la table se consulte
  • Vérifier que les décomptes concordent
  • Confirmer que chaque ligne est présente
# Récupérer les données écrites dans la table SQL
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Valider les décomptes, l'égalité des enregistrements, etc.
...
ETL et ELT en Python

Passons à la pratique !

ETL et ELT en Python

Preparing Video For Download...