Tổng kết
Mở rộng và tối ưu hóa pipeline dữ liệu với Polars
Liam Brannigan
Data Scientist & Polars Contributor
Chương 1
- Cách Polars tối ưu truy vấn lười ở hậu trường
- Đọc kế hoạch truy vấn và đo hiệu năng thực thi
- Dùng dữ liệu đã sắp xếp và fast-path để giảm khối lượng xử lý
Chương 2
- So sánh CSV và Parquet, xem siêu dữ liệu tệp
- Điều khiển cách Polars quét và ghi dữ liệu
- Mở rộng tới bộ dữ liệu đa tệp, phân vùng, và cơ sở dữ liệu
Chương 3
- Làm việc với cột list và struct cho dữ liệu lồng nhau
- Dùng kiểu categorical và enum cho chuỗi lặp lại
- Ước tính kích thước DataFrame và tinh chỉnh độ chính xác số
Chương 4
- Nhắm tới engine mặc định, streaming và GPU
- Xử lý kết quả theo lô và ghi đầu ra xuống đĩa
- Kiểm thử truy vấn Polars cho pipeline ổn định, tin cậy
