Toplu işleme ve akış

Akış Kavramları

Mike Metzger

Data Engineer

Hızlı tekrar

  • Toplu işler veriyi gruplar halinde işler
  • En kritik noktalar: toplu boyutu ve toplu sıklığı
  • Kuyruklar veriyi ekleme sırasıyla saklar/işler
  • Kuyruk = toplu, toplu boyutu bir!
  • Akışlar veriyi durmadan işler
  • Akışların belirli bir sonu yoktur
  • Akışlar sıralamayı korur!
Akış Kavramları

Yangın!

  • Kova zinciri
    • Toplu boyutu (kova ne kadar büyük)
    • Toplu sıklığı (kovayı ne kadar hızlı geçirmek)

Kova zinciri

  • İtfaiye hortumu
    • Sürekli veri akışı
    • Ne kadar su olduğundan emin değiliz

İtfaiye hortumu

1 Albert B. Kinne, Public domain, via Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Public domain, via Wikimedia Commons
Akış Kavramları

En iyi yaklaşım nasıl belirlenir?

  • Gereksinimlere bağlıdır
  • Veriyi gruplar halinde işleyebiliyorsak, toplu işleme basitliği nedeniyle genelde en iyisidir
  • Sıra gerekiyorsa ve duraklamak sorun değilse, kuyruk kullanın
  • Sürekli veri gerekiyorsa veya veri miktarı belirsizse, akış deneyin
  • Veri işlenene kadar durduramıyorsak, akış kullanın
Akış Kavramları

Hadi pratik yapalım!

Akış Kavramları

Preparing Video For Download...