Práce se soubory Parquet

Scaling and Optimizing Data Pipelines with Polars

Liam Brannigan

Data Scientist & Polars Contributor

Formáty ukládání souborů

Diagram datového rámce

Diagram znázorňující CSV jako řádkové úložiště, kde je každý záznam uložen přes celý řádek.

Diagram znázorňující Parquet jako sloupcové úložiště, kde jsou hodnoty ze stejného sloupce seskupeny.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

ilustrace srovnání CSV a Parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Diagram znázorňující soubor Parquet rozdělený do skupin řádků.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Diagram souboru Parquet se skupinami řádků.

Diagram souboru Parquet se skupinami řádků a statistikami.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Scaling and Optimizing Data Pipelines with Polars