Trabajar con archivos Parquet

Escala y optimiza canalizaciones de datos con Polars

Liam Brannigan

Data Scientist & Polars Contributor

Formatos de almacenamiento

Diagrama de un DataFrame

Diagrama que muestra CSV como almacenamiento por filas, con cada registro en una fila completa.

Diagrama que muestra Parquet como almacenamiento por columnas, agrupando valores de la misma columna.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

ilustración de csv vs parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Diagrama que muestra un archivo Parquet dividido en grupos de filas.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Diagrama de un archivo Parquet con grupos de filas.

Diagrama de un archivo Parquet con grupos de filas y estadísticas.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Escala y optimiza canalizaciones de datos con Polars