Wprowadzenie do przetwarzania wsadowego

Koncepcje strumieniowania danych

Mike Metzger

Data Engineer

Czym jest przetwarzanie wsadowe?

• Przetwarzanie danych w grupach
• Działa od początku procesu do końca
  • Brak danych dodawanych w trakcie
• Zazwyczaj uruchamiane w wyniku
  • interwału czasowego
  • zdarzenia wyzwalającego
• Przetwarzane w określonym rozmiarze (rozmiar wsadu)
• Pojedyncze uruchomienie procesu wsadowego nazywane jest zadaniem

Typowe scenariusze przetwarzania wsadowego

• Odczytywanie plików lub ich części (tekstów, plików mp3 itp.)
• Wysyłanie / odbieranie wiadomości e-mail
• Drukowanie

Dlaczego przetwarzanie wsadowe?

• Prostota
• Ogólna spójność
• Wiele sposobów na poprawę wydajności

Czas na ćwiczenia!

Koncepcje strumieniowania danych