Przetwarzanie danych w Azure

Wprowadzenie do Microsoft Azure

Kevin James

Technical Lead and Training Architect

Przetwarzanie w czasie rzeczywistym a wsadowe

• Przed wyborem usługi należy określić typ przetwarzania: w czasie rzeczywistym lub wsadowe.
• W czasie rzeczywistym: natychmiastowa analiza
• Wsadowe: analiza zaplanowana lub ad hoc

Przetwarzanie w czasie rzeczywistym a wsadowe

• Przed wyborem usługi należy określić typ przetwarzania
• W czasie rzeczywistym: natychmiastowa analiza
• Wsadowe: analiza zaplanowana lub ad hoc
• Przykład w ochronie zdrowia:
  • Czas rzeczywisty – pulpity na oddziałach ratunkowych
  • Wsadowe – pulpity aktualizowane co tydzień
• Różne wymagania infrastrukturalne i kosztowe

Procesy ETL

Procesy ETL

Procesy ETL

Narzędzia przetwarzania

Azure Synapse Analytics

• Część Microsoft Fabric
  • integruje big data i hurtownie danych
• Ujednolicone środowisko do pozyskiwania, przygotowania, zarządzania i dostarczania danych
• Obsługuje analizę w czasie rzeczywistym i przetwarzanie wsadowe
• Wydajny silnik analityczny

Azure Stream Analytics

• Umożliwia dostęp do danych w czasie rzeczywistym
• Konfiguruje analizę w czasie rzeczywistym za pomocą prostych zapytań
• Obsługuje strumieniowanie danych z różnych źródeł, np. blob storage
• Niezbędne do natychmiastowych analiz:
  • wykrywanie oszustw w bankowości
  • dynamiczne ceny na rynku akcji

Azure Databricks

• Współpraca Microsoft i Databricks
  • platforma analityczna zoptymalizowana pod Azure
• Ujednolicone środowisko do inżynierii danych, analityki i uczenia maszynowego
• Wspólna przestrzeń robocza dla data scientistów i inżynierów
• Wbudowana obsługa Data Lake
• Czas rzeczywisty i przetwarzanie wsadowe

Azure Data Factory

• Chmurowa usługa integracji danych
• Tworzy, harmonogramuje i orkiestruje przepływy danych
• Upraszcza procesy ETL
• Obsługuje różne źródła i formaty danych
• Automatyzuje przepływy pracy dla większej elastyczności

Azure HDInsight

• Zarządzana usługa do szybkiego i konfigurowalnego przetwarzania danych
• Działa na popularnych platformach open source:
  • Hadoop
  • Spark
  • Kafka
• Łatwe skalowanie zasobów stosownie do potrzeb
• Bezproblemowa integracja z rozwiązaniami Azure Storage

Czas na ćwiczenia!

Wprowadzenie do Microsoft Azure