Обробка даних в Azure

Understanding Microsoft Azure

Kevin James

Technical Lead and Training Architect

Обробка в реальному часі проти пакетної

• Перш ніж обрати сервіс, визначте тип обробки: у реальному часі чи пакетну.
• Реальний час: миттєва аналітика
• Пакетна: запланована або разова аналітика

Обробка в реальному часі проти пакетної

• Визначте тип обробки перед вибором сервісу
• Реальний час: миттєва аналітика
• Пакетна: запланована або разова аналітика
• Приклад у медицині:
  • Реальний час — аварійні дашборди лікарні
  • Пакетна — дашборди з щотижневим оновленням
• Інша інфраструктура та витрати

Процеси ETL

Процеси ETL

Процеси ETL

Інструменти обробки

Azure Synapse Analytics

• Частина Microsoft Fabric
  • об'єднує big data та сховища даних
• Єдиний досвід для надходження, підготовки, керування й доставки даних
• Підтримує інсайти в реальному часі та пакетну обробку
• Працює як потужний рушій аналітики

Azure Stream Analytics

• Надає доступ до даних у реальному часі
• Дозволяє просто налаштувати аналітику реального часу через запити
• Обробляє стримінг із різних джерел, зокрема blob storage
• Критично для миттєвих інсайтів:
  • виявлення шахрайства в банку
  • динамічне ціноутворення на біржі

Azure Databricks

• Співпраця Microsoft і Databricks
  • платформа аналітики, оптимізована для Azure
• Єдине середовище для інженерії даних, аналітики та машинного навчання
• Спільний робочий простір для дата-сайєнтистів та інженерів
• Вбудована підтримка Data Lake
• Реальний час і пакетна обробка

Azure Data Factory

• Хмарний сервіс інтеграції
• Створює, планує, оркеструє робочі процеси даних
• Спрощує процеси ETL
• Працює з різними джерелами та форматами даних
• Автоматизує робочі процеси для гнучкості

Azure HDInsight

• Керований сервіс для швидкої, гнучкої обробки даних
• Працює на популярних open-source платформах:
  • Hadoop
  • Spark
  • Kafka
• Легко масштабується під навантаження
• Безшовно під'єднується до сховищ Azure

Давайте потренуємось!

Understanding Microsoft Azure