Datenverarbeitung in Azure

Microsoft Azure verstehen

Kevin James

Technical Lead and Training Architect

Echtzeit- vs. Stapelverarbeitung

• Überleg dir, welche Art von Verarbeitung du brauchst, bevor du dich für einen Dienst entscheidest: Echtzeit oder Batch.
• Echtzeit: Sofortige Analysen
• Batch Geplante oder spontane Analysen

Echtzeit- vs. Stapelverarbeitung

• Überleg dir, welche Art von Verarbeitung du brauchst, bevor du dich für einen Dienst entscheidest.
• Echtzeit: Sofortige Analysen
• Batch Geplante oder spontane Analysen
• Beispiel im Gesundheitswesen:
  • Echtzeit – Notfall-Dashboards für Krankenhäuser
  • Batch – wöchentlich aktualisierte Dashboards
• Unterschiedliche Auswirkungen auf die Infrastruktur und die Kosten

ETL-Prozesse

ETL-Prozesse

ETL-Prozesse

Bearbeitungswerkzeuge

Azure Synapse Analytics

• Teil von Microsoft Fabric
  • integriert Big Data und Data Warehouses
• Einheitliche Erfahrung für die Erfassung, Vorbereitung, Verwaltung und Bereitstellung von Daten
• Unterstützt Echtzeit-Einblicke und Stapelverarbeitung
• Funktioniert wie ein super schneller Analyse-Motor

Azure Stream Analytics

• Ermöglicht Echtzeit-Datenzugriff
• Richtet Echtzeitanalysen mit einer einfachen Abfragedefinition ein
• Verarbeitet Datenströme aus verschiedenen Quellen wie Blob-Speichern
• Unverzichtbar für schnelle Einblicke:
  • Betrugserkennung in einer Bank
  • dynamische Preisgestaltung an der Börse

Azure Databricks

• Zusammenarbeit zwischen Microsoft und Databricks
  • Für Azure optimierte Analyseplattform
• Einheitliche Umgebung für Datenverarbeitung, Analysen und maschinelles Lernen
• Ein gemeinsamer Arbeitsbereich für Datenwissenschaftler und Ingenieure
• Integrierte Data Lake-Unterstützung
• Echtzeit und Batch

Azure Data Factory

• Cloud-basierter Integrationsdienst
• Erstellt, plant und koordiniert Daten-Workflows
• Optimiert ETL-Prozesse
• Verarbeitet verschiedene Datenquellen und -formate
• Automatisiert Arbeitsabläufe für mehr Flexibilität

Azure HDInsight

• Managed Service für schnelle, anpassbare Datenverarbeitung
• Läuft auf beliebten Open-Source-Plattformen:
  • Hadoop
  • Spark
  • Kafka
• Skaliert Ressourcen ganz einfach nach Bedarf
• Lässt sich einfach mit Azure-Speicherlösungen verbinden

Lass uns üben!

Microsoft Azure verstehen