Lavorare con i file Parquet

Scalare e ottimizzare le pipeline di dati con Polars

Liam Brannigan

Data Scientist & Polars Contributor

Formati di archiviazione file

Diagramma di un DataFrame

Diagramma che mostra CSV come archiviazione per righe, con ogni record su un'intera riga.

Diagramma che mostra Parquet come archiviazione colonnare, con i valori della stessa colonna raggruppati.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

illustrazione: csv vs parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Diagramma con file Parquet diviso in gruppi di righe.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Diagramma di un file Parquet con gruppi di righe.

Diagramma di un file Parquet con gruppi di righe e statistiche.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Scalare e ottimizzare le pipeline di dati con Polars