Processamento de dados no Azure

Entendendo o Microsoft Azure

Kevin James

Technical Lead and Training Architect

Processamento em tempo real vs em lote

• Considere o tipo de processamento antes de escolher o serviço: tempo real ou lote.
• Tempo real: analytics imediato
• Lote: analytics agendado ou ad hoc

Processamento em tempo real vs em lote

• Considere o tipo de processamento antes de escolher o serviço
• Tempo real: analytics imediato
• Lote: analytics agendado ou ad hoc
• Exemplo em saúde:
  • Tempo real: painéis de emergência do hospital
  • Lote: painéis atualizados semanalmente
• Infraestrutura e custos diferentes

Processos ETL

Processos ETL

Processos ETL

Ferramentas de processamento

Azure Synapse Analytics

• Parte do Microsoft Fabric
  • integra big data e data warehouses
• Experiência unificada para ingestão, preparo, gestão e entrega de dados
• Suporta insights em tempo real e processamento em lote
• Funciona como um motor de analytics turbinado

Azure Stream Analytics

• Habilita acesso a dados em tempo real
• Configura analytics em tempo real com definição simples de consultas
• Lida com streaming de entradas diversas, como Blob Storage
• Essencial para insights imediatos:
  • detecção de fraude em banco
  • precificação dinâmica no mercado de ações

Azure Databricks

• Colaboração Microsoft–Databricks
  • Plataforma de analytics otimizada para Azure
• Ambiente unificado para engenharia de dados, analytics e ML
• Espaço colaborativo para cientistas e engenheiros de dados
• Suporte nativo a Data Lake
• Tempo real e lote

Azure Data Factory

• Serviço de integração na nuvem
• Cria, agenda e orquestra pipelines de dados
• Agiliza processos ETL
• Suporta fontes e formatos diversos
• Automatiza fluxos para flexibilidade

Azure HDInsight

• Serviço gerenciado para processamento rápido e personalizável
• Roda em plataformas open source populares:
  • Hadoop
  • Spark
  • Kafka
• Escala recursos conforme a demanda
• Conecta-se facilmente ao armazenamento do Azure

Vamos praticar!

Entendendo o Microsoft Azure