Lucrul cu fișiere Parquet

Scalarea și optimizarea pipeline-urilor de date cu Polars

Liam Brannigan

Data Scientist & Polars Contributor

Formate de stocare a fișierelor

Diagramă a unui DataFrame

Diagramă care arată CSV ca stocare pe rânduri, fiecare înregistrare stocată pe un rând complet.

Diagramă care arată Parquet ca stocare orientată pe coloane, cu valorile din aceeași coloană grupate împreună.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

ilustrație CSV vs Parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Diagramă a unui fișier Parquet împărțit în grupuri de rânduri.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Diagramă a unui fișier Parquet cu grupuri de rânduri.

Diagramă a unui fișier Parquet cu grupuri de rânduri și statistici.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Scalarea și optimizarea pipeline-urilor de date cu Polars