การทำงานกับไฟล์ Parquet

การปรับขนาดและเพิ่มประสิทธิภาพ Data Pipeline ด้วย Polars

Liam Brannigan

Data Scientist & Polars Contributor

รูปแบบการจัดเก็บไฟล์

แผนภาพของ DataFrame

แผนภาพแสดงการจัดเก็บ CSV แบบรายแถว โดยแต่ละระเบียนถูกเก็บครบทั้งแถว

แผนภาพแสดงการจัดเก็บ Parquet แบบเชิงคอลัมน์ โดยค่าจากคอลัมน์เดียวกันถูกจัดกลุ่มไว้ด้วยกัน

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

ภาพประกอบเปรียบเทียบ CSV กับ Parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

แผนภาพแสดงไฟล์ Parquet ที่แบ่งออกเป็น row group

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

แผนภาพของไฟล์ Parquet พร้อม row group

แผนภาพของไฟล์ Parquet พร้อม row group และสถิติ

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

การปรับขนาดและเพิ่มประสิทธิภาพ Data Pipeline ด้วย Polars