Підсумуємо

Масштабування й оптимізація конвеєрів даних з Polars

Liam Brannigan

Data Scientist & Polars Contributor

Розділ 1

• Розуміння, як Polars оптимізує ліниві запити «під капотом»
• Читання планів запитів і профілювання виконання
• Використання відсортованих даних і fast-path-операцій для зменшення роботи

Розділ 2

• Порівняння CSV і Parquet та огляд метаданих файлів
• Керування тим, як Polars сканує й записує дані
• Масштабування до багатофайлових наборів, розділених схем і баз даних

Розділ 3

• Робота зі стовпцями list і struct для вкладених даних
• Використання типів categorical та enum для повторюваних рядків
• Оцінювання розміру DataFrame і налаштування числової точності

Розділ 4

• Використання механізмів виконання: default, streaming і GPU
• Обробка результатів пакетами та запис виходів на диск
• Тестування запитів Polars для надійних конвеєрів

Вітаємо!

Масштабування й оптимізація конвеєрів даних з Polars