Xử lý dữ liệu trên Azure

Tìm hiểu Microsoft Azure

Kevin James

Technical Lead and Training Architect

Xử lý thời gian thực vs theo lô

• Xác định kiểu xử lý trước khi chọn dịch vụ: thời gian thực hay lô.
• Thời gian thực: phân tích tức thì
• Xử lý theo lô: phân tích theo lịch hoặc đột xuất

Xử lý thời gian thực vs theo lô

• Xác định kiểu xử lý trước khi chọn dịch vụ
• Thời gian thực: phân tích tức thì
• Theo lô: phân tích theo lịch hoặc đột xuất
• Ví dụ trong y tế:
  • Thời gian thực - bảng điều khiển cấp cứu bệnh viện
  • Theo lô - bảng điều khiển cập nhật hàng tuần
• Hạ tầng và chi phí khác nhau

Quy trình ETL

Quy trình ETL

Quy trình ETL

Công cụ xử lý

Azure Synapse Analytics

• Một phần của Microsoft Fabric
  • tích hợp dữ liệu lớn và kho dữ liệu
• Trải nghiệm hợp nhất cho thu nạp, chuẩn bị, quản lý và phân phối dữ liệu
• Hỗ trợ insight thời gian thực và xử lý theo lô
• Hoạt động như động cơ phân tích tăng tốc

Azure Stream Analytics

• Kích hoạt truy cập dữ liệu thời gian thực
• Thiết lập phân tích thời gian thực với truy vấn đơn giản
• Xử lý luồng dữ liệu từ nhiều nguồn như blob storage
• Thiết yếu cho insight tức thì:
  • phát hiện gian lận trong ngân hàng
  • định giá linh hoạt trên thị trường chứng khoán

Azure Databricks

• Hợp tác giữa Microsoft và Databricks
  • Nền tảng phân tích tối ưu cho Azure
• Môi trường hợp nhất cho kỹ thuật dữ liệu, phân tích và Machine Learning
• Không gian làm việc cộng tác cho nhà khoa học dữ liệu và kỹ sư dữ liệu
• Tích hợp sẵn với Data Lake
• Thời gian thực và theo lô

Azure Data Factory

• Dịch vụ tích hợp trên đám mây
• Tạo, lập lịch, điều phối quy trình dữ liệu
• Tăng tốc quy trình ETL
• Xử lý nhiều nguồn và định dạng dữ liệu
• Tự động hóa quy trình để linh hoạt

Azure HDInsight

• Dịch vụ được quản lý cho xử lý dữ liệu nhanh, tùy chỉnh
• Chạy trên các nền tảng mã nguồn mở phổ biến:
  • Hadoop
  • Spark
  • Kafka
• Dễ dàng co giãn tài nguyên theo nhu cầu
• Kết nối liền mạch với các giải pháp lưu trữ của Azure

Cùng luyện tập nào!

Tìm hiểu Microsoft Azure