Procesarea datelor în Azure

Înțelegerea Microsoft Azure

Kevin James

Technical Lead and Training Architect

Timp real vs. procesare batch

• Alegeți tipul de procesare înainte de a selecta un serviciu: timp real sau batch.
• Timp real: analize imediate
• Batch: analize programate sau ad-hoc

Timp real vs. procesare batch

• Alegeți tipul de procesare înainte de a selecta un serviciu
• Timp real: analize imediate
• Batch: analize programate sau ad-hoc
• Exemplu în sănătate:
  • Timp real – tablouri de bord pentru urgențe spitalicești
  • Batch – tablouri de bord actualizate săptămânal
• Implicații diferite asupra infrastructurii și costurilor

Procese ETL

Procese ETL

Procese ETL

Instrumente de procesare

Azure Synapse Analytics

• Parte din Microsoft Fabric
  • integrează big data și depozite de date
• Experiență unificată pentru ingestie, pregătire, gestionare și livrare date
• Suportă analize în timp real și procesare batch
• Motor de analiză de înaltă performanță

Azure Stream Analytics

• Permite accesul la date în timp real
• Configurează analize în timp real prin interogări simple
• Procesează fluxuri de date din surse diverse, precum blob storage
• Esențial pentru informații imediate:
  • detectarea fraudelor bancare
  • prețuri dinamice pe piața bursieră

Azure Databricks

• Colaborare Microsoft-Databricks
  • Platformă de analiză optimizată pentru Azure
• Mediu unificat pentru inginerie de date, analiză și machine learning
• Spațiu de lucru colaborativ pentru oameni de știință și ingineri de date
• Suport integrat pentru Data Lake
• Timp real și batch

Azure Data Factory

• Serviciu de integrare bazat pe cloud
• Creează, planifică și orchestrează fluxuri de date
• Simplifică procesele ETL
• Gestionează surse și formate diverse de date
• Automatizează fluxurile de lucru pentru flexibilitate

Azure HDInsight

• Serviciu gestionat pentru procesare rapidă și personalizabilă
• Rulează pe platforme open-source populare:
  • Hadoop
  • Spark
  • Kafka
• Scalează resursele în funcție de cerere
• Se integrează nativ cu soluțiile de stocare Azure

Să exersăm!

Înțelegerea Microsoft Azure