Kapanış

Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme

Liam Brannigan

Data Scientist & Polars Contributor

Bölüm 1

Sorgu optimizasyonu

  • Polars'ın tembel sorguları perde arkasında nasıl optimize ettiğini anlama
  • Sorgu planlarını okuma ve yürütmeyi profilleme
  • İşi azaltmak için sıralı veri ve hızlı yol işlemlerini kullanma
Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme

Bölüm 2

Birden çok dosya türünü içeri alan Polars görseli

  • CSV ve Parquet'i karşılaştırma, dosya metaverisini inceleme
  • Polars'ın veriyi tarama ve yazma biçimini denetleme
  • Çok dosyalı veri kümeleri, bölümlü düzenler ve veritabanlarına ölçekleme
Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme

Bölüm 3

İçiçe verinin tabloya dönüştürülmesi diyagramı.

  • İçiçe veri için liste ve struct sütunlarıyla çalışma
  • Tekrarlanan dizeler için kategorik ve enum türlerini kullanma
  • DataFrame boyutunu kestirme ve sayısal duyarlılığı ayarlama
Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme

Bölüm 4

Büyük bir tablonun akış halinde işlendiği görsel.

  • Varsayılan, akış ve GPU yürütme motorlarını hedefleme
  • Sonuçları partiler halinde işleme ve çıktıları diske yazma
  • Sağlam, güvenilir boru hatları için Polars sorgularını test etme
Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme

Tebrikler!

Polars ile Veri Hatlarını Ölçeklendirme ve Optimize Etme

Preparing Video For Download...