总结

使用 Polars 扩展与优化数据流水线

Liam Brannigan

Data Scientist & Polars Contributor

第 1 章

查询优化

  • 了解 Polars 在幕后如何优化惰性查询
  • 解读查询计划并分析执行
  • 利用排序数据和快速路径操作减少工作量
使用 Polars 扩展与优化数据流水线

第 2 章

Polars 导入多种文件类型的图像

  • 比较 CSV 与 Parquet，并查看文件元数据
  • 控制 Polars 扫描与写入数据的方式
  • 扩展至多文件数据集、分区布局和数据库
使用 Polars 扩展与优化数据流水线

第 3 章

嵌套数据被转换为表的示意图。

  • 使用 list 与 struct 列处理嵌套数据
  • 用 categorical 与 enum 类型存储重复字符串
  • 估算 DataFrame 大小并调整数值精度
使用 Polars 扩展与优化数据流水线

第 4 章

大型表以流式方式处理的图像。

  • 选择默认、流式和 GPU 执行引擎
  • 批处理结果并将输出落盘
  • 测试 Polars 查询，构建稳健可靠的流水线
使用 Polars 扩展与优化数据流水线

恭喜！

使用 Polars 扩展与优化数据流水线

Preparing Video For Download...