Zpracování dat v Azure

Understanding Microsoft Azure

Kevin James

Technical Lead and Training Architect

Zpracování v reálném čase vs. dávkové

• Zvolte typ zpracování před výběrem služby: reálný čas nebo dávkové.
• Reálný čas: okamžité analýzy
• Dávkové: plánované nebo ad-hoc analýzy

Zpracování v reálném čase vs. dávkové

• Zvolte typ zpracování před výběrem služby
• Reálný čas: okamžité analýzy
• Dávkové: plánované nebo ad-hoc analýzy
• Příklad ve zdravotnictví:
  • Reálný čas – nouzové dashboardy v nemocnicích
  • Dávkové – týdně aktualizované dashboardy
• Různé nároky na infrastrukturu a náklady

Procesy ETL

Procesy ETL

Procesy ETL

Nástroje pro zpracování

Azure Synapse Analytics

• Součást Microsoft Fabric
  • integruje velká data a datové sklady
• Jednotné prostředí pro příjem, přípravu, správu a doručování dat
• Podporuje přehledy v reálném čase a dávkové zpracování
• Výkonný analytický nástroj

Azure Stream Analytics

• Umožňuje přístup k datům v reálném čase
• Nastavuje analýzy v reálném čase pomocí jednoduchých dotazů
• Zpracovává streamování dat z různých zdrojů, např. blob storage
• Klíčový pro okamžité přehledy:
  • detekce podvodů v bance
  • dynamické oceňování na burze

Azure Databricks

• Spolupráce Microsoft a Databricks
  • Analytická platforma optimalizovaná pro Azure
• Jednotné prostředí pro datové inženýrství, analýzy a strojové učení
• Sdílený pracovní prostor pro datové vědce a inženýry
• Integrovaná podpora Data Lake
• Reálný čas i dávkové zpracování

Azure Data Factory

• Cloudová integrační služba
• Vytváří, plánuje a orchestruje datové toky
• Zjednodušuje procesy ETL
• Podporuje různé zdroje a formáty dat
• Automatizuje pracovní postupy pro větší flexibilitu

Azure HDInsight

• Spravovaná služba pro rychlé a přizpůsobitelné zpracování dat
• Běží na populárních open-source platformách:
  • Hadoop
  • Spark
  • Kafka
• Snadno škáluje zdroje podle potřeby
• Bezproblémová integrace s úložišti Azure

Pojďme si procvičit!

Understanding Microsoft Azure