Parquet dosyalarıyla çalışmak

Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme

Liam Brannigan

Data Scientist & Polars Contributor

Dosya depolama biçimleri

Bir DataFrame diyagramı

CSV'nin satır bazlı depolama olduğunu, her kaydın tam bir satıra yayıldığını gösteren diyagram.

Parquet'in sütun odaklı depolama olduğunu, aynı sütundaki değerlerin birlikte gruplandığını gösteren diyagram.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

csv ve parquet karşılaştırma görseli

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Parquet dosyasının satır gruplarına bölündüğünü gösteren diyagram.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Satır grupları olan bir Parquet dosyası diyagramı.

Satır grupları ve istatistikleri olan bir Parquet dosyası diyagramı.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme