Arbeta med Parquet-filer

Skalning och optimering av datapipelines med Polars

Liam Brannigan

Data Scientist & Polars Contributor

Fillagringsformat

Diagram över en DataFrame

Diagram som visar CSV som radvis lagring, där varje post sparas över en hel rad.

Diagram som visar Parquet som kolumnorienterad lagring, där värden från samma kolumn grupperas tillsammans.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

illustration av csv vs parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Diagram som visar en Parquet-fil uppdelad i radgrupper.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Diagram över en Parquet-fil med radgrupper.

Diagram över en Parquet-fil med radgrupper och statistik.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Skalning och optimering av datapipelines med Polars