Подведение итогов
Масштабирование и оптимизация конвейеров данных с Polars
Liam Brannigan
Data Scientist & Polars Contributor
Глава 1
- Как Polars оптимизирует ленивые запросы под капотом
- Чтение планов запросов и профилирование выполнения
- Использование сортированных данных и быстрых операций для сокращения вычислений
Глава 2
- Сравнение CSV и Parquet, анализ метаданных файлов
- Управление сканированием и записью данных в Polars
- Работа с многофайловыми наборами, партиционированными структурами и базами данных
Глава 3
- Работа со столбцами типа list и struct для вложенных данных
- Использование категориальных типов и enum для повторяющихся строк
- Оценка размера DataFrame и настройка числовой точности
Глава 4
- Выбор движка выполнения: стандартный, потоковый и GPU
- Обработка результатов по частям и запись вывода на диск
- Тестирование запросов Polars для надёжных пайплайнов
