Bekerja dengan file Parquet

Menskalakan dan Mengoptimalkan Pipeline Data dengan Polars

Liam Brannigan

Data Scientist & Polars Contributor

Format penyimpanan file

Diagram sebuah DataFrame

Diagram yang menunjukkan CSV sebagai penyimpanan per baris, tiap rekaman disimpan sepanjang satu baris.

Diagram yang menunjukkan Parquet sebagai penyimpanan terorientasi kolom, nilai dalam kolom yang sama dikelompokkan.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

ilustrasi csv vs parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Diagram menunjukkan file Parquet dibagi dalam grup baris.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Diagram file Parquet dengan grup baris.

Diagram file Parquet dengan grup baris dan statistik.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Menskalakan dan Mengoptimalkan Pipeline Data dengan Polars