Travailler avec des bases de données

Mise à l'échelle et optimisation des pipelines de données avec Polars

Liam Brannigan

Data Scientist & Polars Contributor

Interroger une base de données depuis Polars

Schéma conceptuel montrant Polars envoyant une requête SQL et un URI à une base de données.

Mise à l'échelle et optimisation des pipelines de données avec Polars

Interroger une base de données depuis Polars

Schéma conceptuel montrant Polars envoyant une requête SQL à une base de données et recevant une table de résultats via un moteur de base de données.

Mise à l'échelle et optimisation des pipelines de données avec Polars

Bases de données que Polars peut interroger

Bases de données compatibles avec Polars

  • Embarquée → s'exécute localement, aucun serveur
  • DuckDB → base analytique
Mise à l'échelle et optimisation des pipelines de données avec Polars

Table des permis de construire

SELECT *
FROM building_permits
LIMIT 5

shape: (5, 5)
| issue_date | permit_type | review_type | street_name  | work_description             |
| ---        | ---         | ---         | ---          | ---                          |
| date       | str         | str         | str          | str                          |
|------------|-------------|-------------|--------------|------------------------------|
| 2026-04-30 | Signs       | SIGN PERMIT | CLARK ST     | Wall sign install            |
| 2026-04-28 | Renovation  | SELF CERT   | OAKLEY AVE   | Add dormer to 8-unit roof    |
| 2026-03-21 | Easy Permit | EASY PERMIT | SEMINARY AVE | Parapet masonry repair       |
| 2026-03-11 | Easy Permit | EASY PERMIT | RHODES AVE   | Rebuild south chimney side   |
| 2026-03-03 | Easy Permit | EASY PERMIT | GIDDINGS ST  | Porch lintel + tuckpointing  |
Mise à l'échelle et optimisation des pipelines de données avec Polars

URI de connexion

import polars as pl

uri = "postgresql://analyst:[email protected]:5432/buildings"
  • Protocole postgresql://
  • analyst:secret nom d'utilisateur et mot de passe
  • data.chicago.org:5432 hôte et port
  • buildings nom de la base
Mise à l'échelle et optimisation des pipelines de données avec Polars

Interroger une base de données

query = """
    SELECT issue_date, permit_type
    FROM building_permits
    WHERE issue_date >= DATE '2026-01-01'
"""
Mise à l'échelle et optimisation des pipelines de données avec Polars

Interroger une base de données

query = """
    SELECT issue_date, permit_type
    FROM building_permits
    WHERE issue_date >= DATE '2026-01-01'
"""

permit_counts = (
    pl.read_database_uri(query=query, uri=uri)



)
Mise à l'échelle et optimisation des pipelines de données avec Polars

Interroger une base de données

query = """
    SELECT issue_date, permit_type
    FROM building_permits
    WHERE issue_date >= DATE '2026-01-01'
"""

permit_counts = (
    pl.read_database_uri(query=query, uri=uri)
    .group_by("permit_type")
    .len()
    .sort("len", descending=True)
)
Mise à l'échelle et optimisation des pipelines de données avec Polars

Nombre de permis par groupe

permit_counts

shape: (3, 2)
| permit_type                     | len |
| ---                             | --- |
| str                             | u32 |
|---------------------------------|-----|
| Easy Permit                     | 58  |
| New Construction                | 14  |
| Renovation                      | 11  |
Mise à l'échelle et optimisation des pipelines de données avec Polars

Choisir le moteur

pl.read_database_uri(
    query=query,
    uri=uri,
    engine="connectorx",
)
  • Plus de bases prises en charge
pl.read_database_uri(
    query=query,
    uri=uri,
    engine="adbc",
)
  • Plus rapide pour les bases prises en charge
1 https://arrow.apache.org/adbc/current/driver/status.html
Mise à l'échelle et optimisation des pipelines de données avec Polars

Écrire de nouveau dans la base de données

permit_counts.write_database(



)
Mise à l'échelle et optimisation des pipelines de données avec Polars

Écrire de nouveau dans la base de données

permit_counts.write_database(
    table_name="permit_type_summary",
    connection=uri,

)
Mise à l'échelle et optimisation des pipelines de données avec Polars

Écrire de nouveau dans la base de données

permit_counts.write_database(
    table_name="permit_type_summary",
    connection=uri,
    if_table_exists="replace",
)
  • append
  • fail
Mise à l'échelle et optimisation des pipelines de données avec Polars

Intégration de DuckDB

import duckdb

db = duckdb.connect("permits.duckdb")

$$

  • DuckDB → sortie Polars intégrée
Mise à l'échelle et optimisation des pipelines de données avec Polars

Intégration de DuckDB

import duckdb

db = duckdb.connect("permits.duckdb")

result = db.sql("SELECT * FROM permit_type_summary").pl()

shape: (3, 2)
| permit_type                     | len |
| ---                             | --- |
| str                             | u32 |
|---------------------------------|-----|
| Easy Permit                     | 58  |
| New Construction                | 14  |
| Renovation                      | 11  |
Mise à l'échelle et optimisation des pipelines de données avec Polars

Passons à la pratique !

Mise à l'échelle et optimisation des pipelines de données avec Polars

Preparing Video For Download...