Gegevensverwerking in Azure

Microsoft Azure begrijpen

Kevin James

Technical Lead and Training Architect

Realtime vs. batchverwerking

• Kies eerst het verwerkings­type: realtime of batch.
• Realtime: directe analytics
• Batch: geplande of ad-hoc analytics

Realtime vs. batchverwerking

• Kies eerst het verwerkingstype
• Realtime: directe analytics
• Batch: geplande of ad-hoc analytics
• Voorbeeld in de zorg:
  • Realtime: SEH-dashboards
  • Batch: wekelijks bijgewerkte dashboards
• Andere infrastructuur- en kostenimpact

ETL-processen

ETL-processen

ETL-processen

Verwerkingstools

Azure Synapse Analytics

• Onderdeel van Microsoft Fabric
  • integreert big data en datawarehouses
• Eén omgeving voor ingestie, voorbereiding, beheer en levering
• Ondersteunt realtime-inzichten en batchverwerking
• Fungeert als een krachtig analytics-platform

Azure Stream Analytics

• Maakt realtime data-toegang mogelijk
• Realtime-analytics met simpele querydefinitie
• Verwerkt datastreams van o.a. Blob Storage
• Cruciaal voor directe inzichten:
  • fraudedetectie bij een bank
  • dynamische prijzen op de beurs

Azure Databricks

• Microsoft–Databricks-samenwerking
  • Analytics-platform geoptimaliseerd voor Azure
• Eén omgeving voor data engineering, analytics en machine learning
• Samenwerkruimte voor data scientists en engineers
• Ingebouwde Data Lake-ondersteuning
• Realtime en batch

Azure Data Factory

• Cloudgebaseerde integratieservice
• Maakt, plant en orkestreert dataworkflows
• Stroomlijnt ETL-processen
• Ondersteunt diverse databronnen en -formaten
• Automatiseert workflows voor flexibiliteit

Azure HDInsight

• Beheerde service voor snelle, aanpasbare dataverwerking
• Draait op populaire open-sourceplatforms:
  • Hadoop
  • Spark
  • Kafka
• Schaal gemakkelijk mee met de vraag
• Naadloze koppeling met Azure-opslag

Laten we oefenen!

Microsoft Azure begrijpen