Polars DataFrame 简介

Polars 入门

Liam Brannigan

Data Scientist and Polars Contributor

认识你的讲师

Liam Brannigan，首席数据科学家
机器学习与数据工程专家
Polars 贡献者

讲师头像。

表格数据

shape: (49, 8)
| name        | type    | price | bedrooms | doubles | singles | review | beach |
| ---         | ---     | ---   | ---      | ---     | ---     | ---    | ---   |
| str         | str     | i64   | i64      | i64     | i64     | f64    | bool  |
|-------------|---------|-------|----------|---------|---------|--------|-------|
| Waves       | Cottage | 540   | 4        | 1       | 2       | 8.9    | false |
| Seashells   | Cottage | 540   | 4        | 2       | 2       | 8.7    | true  |
| Lake view   | Cottage | 714   | 3        | 1       | 4       | 9.2    | true  |
| Piran View  | null    | 775   | null     | 1       | 3       | 9.6    | false |
| Palma Villa | Cottage | 1772  | 4        | 1       | 2       | 9.6    | true  |

北极熊在雪地行走与熊猫在森林中的并列图片。

Polars 通常比 Pandas 更快 → 并行计算
Polars 的惰性模式可优化查询

Apache Arrow 与 Rust 标志。

Apache Arrow：在内存中存储表格数据
Rust：用于数据处理的高速语言

用于说明加载数据的数据库示意图。

加载并检查数据

用于说明转换的数据库与齿轮示意图。

加载并检查数据
转换与优化

用于说明分析的数据库、齿轮和图表示意图。

加载并检查数据
转换与优化
数据分析

读取 CSV

import polars as pl


rentals = pl.read_csv("vacation_rentals.csv")

DataFrame 的前几行

rentals.head(3)

rentals DataFrame 的前几行。

DataFrame 的前几行

rentals.head(3)

高亮显示形状的 rentals DataFrame。

DataFrame 的前几行

rentals.head(3)

高亮显示第一列的 rentals DataFrame。

dtype：列的数据类型

DataFrame 的前几行

rentals.head(3)

高亮显示 rentals 列的 rentals DataFrame。

DataFrame 的最后几行

rentals.tail()

shape: (5, 8)
| name                | type      | price | bedrooms | doubles | singles | review | beach |
| ---                 | ---       | ---   | ---      | ---     | ---     | ---    | ---   |
| str                 | str       | i64   | i64      | i64     | i64     | f64    | bool  |
|---------------------|-----------|-------|----------|---------|---------|--------|-------|
| Hengar Manor House  | Cottage   | 615   | 4        | 1       | 5       | 9.4    | false |
| Tudor Cottage Hayle | Cottage   | 489   | 3        | 2       | 3       | 8.9    | false |
| Tolcarne Apartments | Apartment | 1764  | 3        | 1       | 4       | 9.3    | true  |
| Tolcarne Apartments | Apartment | 1605  | 3        | 1       | 4       | 9.3    | true  |
| Tehidy Holiday Park | Cottage   | 637   | 4        | 2       | 4       | 9.0    | false |

DataFrame 元数据

rentals.shape

(49, 8)

rentals.columns

['name', 'type', 'price', 'bedrooms', 'doubles', 'singles', 'review', 'beach']

DataFrame 架构

rentals.schema

Schema([('name', String),
        ('type', String),
        ('price', Int64),
        ('bedrooms', Int64),
        ('doubles', Int64),
        ('singles', Int64),
        ('review', Float64),
        ('beach', Boolean)])

检查 DataFrame

rentals.glimpse()

Rows: 49
Columns: 8
$ name      <str> 'Waves', 'Seashells', 'Lake view', 'Piran View',...
$ type      <str> 'Cottage', 'Cottage', 'Cottage', None, 'Cottage',...
$ price     <i64> 540, 540, 714, 775, 1772, 934, 1947, 1026, 705, 863
$ bedrooms  <i64> 4, 4, 3, None, 4, 3, 4, 3, 4, 3
$ doubles   <i64> 1, 2, 1, 1, 1, 1, 1, 1, 1, 1
$ singles   <i64> 2, 2, 4, 3, 2, 4, 2, 4, 2, 2
$ review    <f64> 8.9, 8.7, 9.2, 9.6, 9.6, 8.6, 9.6, 8.6, 9.7, 9.1
$ beach    <bool> False, True, True, False, True, True, True, True, True, True

Passons à la pratique !

Polars 入门