Làm việc với tệp Parquet

Mở rộng và tối ưu hóa pipeline dữ liệu với Polars

Liam Brannigan

Data Scientist & Polars Contributor

Định dạng lưu trữ tệp

Sơ đồ DataFrame

Sơ đồ minh họa CSV lưu theo từng hàng, mỗi bản ghi trên một hàng đầy đủ.

Sơ đồ minh họa Parquet lưu theo cột, các giá trị cùng cột được gom lại.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

minh họa csv vs parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Sơ đồ cho thấy tệp Parquet chia theo nhóm hàng.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Sơ đồ tệp Parquet có nhóm hàng.

Sơ đồ tệp Parquet có nhóm hàng và thống kê.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Mở rộng và tối ưu hóa pipeline dữ liệu với Polars