Обработка данных в Azure

Знакомство с Microsoft Azure

Kevin James

Technical Lead and Training Architect

Потоковая и пакетная обработка

• Выберите тип обработки до выбора сервиса: потоковая или пакетная.
• Потоковая: аналитика в реальном времени
• Пакетная: плановая или разовая аналитика

Потоковая и пакетная обработка

• Выберите тип обработки до выбора сервиса
• Потоковая: аналитика в реальном времени
• Пакетная: плановая или разовая аналитика
• Пример в здравоохранении:
  • Потоковая — экстренные дашборды больниц
  • Пакетная — дашборды с еженедельным обновлением
• Разные требования к инфраструктуре и затратам

Процессы ETL

Процессы ETL

Процессы ETL

Инструменты обработки

Azure Synapse Analytics

• Часть Microsoft Fabric
  • объединяет большие данные и хранилища данных
• Единая среда для приёма, подготовки, управления и доставки данных
• Поддерживает потоковую и пакетную обработку
• Мощный аналитический движок

Azure Stream Analytics

• Обеспечивает доступ к данным в реальном времени
• Настраивает потоковую аналитику с помощью простых запросов
• Обрабатывает потоки из разных источников, включая хранилище BLOB
• Необходим для мгновенного анализа:
  • обнаружение мошенничества в банке
  • динамическое ценообразование на бирже

Azure Databricks

• Совместная разработка Microsoft и Databricks
  • Аналитическая платформа, оптимизированная для Azure
• Единая среда для инженерии данных, аналитики и машинного обучения
• Совместное рабочее пространство для специалистов по данным и инженеров
• Встроенная поддержка Data Lake
• Потоковая и пакетная обработка

Azure Data Factory

• Облачный сервис интеграции данных
• Создаёт, планирует и оркестрирует потоки данных
• Упрощает процессы ETL
• Работает с разнородными источниками и форматами данных
• Автоматизирует рабочие процессы для гибкости

Azure HDInsight

• Управляемый сервис для быстрой и гибкой обработки данных
• Работает на популярных платформах с открытым исходным кодом:
  • Hadoop
  • Spark
  • Kafka
• Легко масштабирует ресурсы под нагрузку
• Без проблем подключается к хранилищам Azure

Давайте потренируемся!

Знакомство с Microsoft Azure