Trabalhando com arquivos Parquet

Dimensionamento e Otimização de Pipelines de Dados com Polars

Liam Brannigan

Data Scientist & Polars Contributor

Formatos de armazenamento de arquivo

Diagrama de um DataFrame

Diagrama mostrando CSV como armazenamento por linha, com cada registro em uma linha completa.

Diagrama mostrando Parquet como armazenamento por colunas, com valores da mesma coluna agrupados.

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)

)

(
    pl.read_csv("311_Service_Requests.csv", try_parse_dates=True)
    .write_parquet("311_Service_Requests.parquet")
)

pl.read_parquet_schema(
    "311_Service_Requests.parquet"
)

Schema(
    "CREATED_DATE": Datetime,
    "TYPE": String,
    "STATUS": String,
    "DEPARTMENT": String,
    "WARD": Int64,
    ...
)

ilustração: csv vs parquet

new_request = {"TYPE": "Pothole", "STATUS": "Open", ...}

Diagrama mostrando arquivo Parquet dividido em grupos de linhas.

(
    pl.scan_parquet("311_Service_Requests.parquet")
    .filter(pl.col("CREATED_DATE") < pl.datetime(2020, 1, 1))
)

Diagrama de um arquivo Parquet com grupos de linhas.

Diagrama de um arquivo Parquet com grupos de linhas e estatísticas.

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",

    )
)

(
    pl.scan_parquet(
        "311_Service_Requests.parquet",
        parallel="row_groups",
    )
)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,

)

department_counts.write_parquet(
    "department_counts.parquet",
    compression_level=3,
    row_group_size=25_000,
)

Dimensionamento e Otimização de Pipelines de Dados com Polars