Xây dựng pipeline tập trung

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

Pipeline là một lộ trình được lập kế hoạch

Tuyến tàu từ ga nguồn qua ba điểm dừng hoạt động đến ga đích, trong một lần chạy

  • Source: ga khởi hành
  • Destination: ga đến
  • Activities: các thao tác trên tuyến
  • Run: một hành trình hoàn tất
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Bắt đầu pipeline mới

Tùy chọn bắt đầu có hướng dẫn cho pipeline mới: Copy data assistant, Practice with sample data và Templates

  • Bắt đầu với canvas trống hoặc có hướng dẫn
    • Practice with sample data dùng mẫu dựng sẵn
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Canvas của pipeline

  • Canvas hiển thị các hoạt động của pipeline và cách chúng kết nối
  • Output hiển thị trạng thái hoạt động

Canvas pipeline với hoạt động Copy data đã thành công và thẻ Output hiển thị trạng thái chạy

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Hoạt động Copy data

Hoạt động Copy data đọc từ nguồn và ghi vào bảng lakehouse, với một lần chạy thành công

  • Hoạt động phổ biến trong pipeline
  • Hoạt động như một Copy job, nhưng được định nghĩa trong pipeline
  • Đọc nguồn, ghi vào đích như bảng lakehouse
  • Run hiển thị chi tiết chạy và trạng thái hoạt động
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Nhóm hoạt động của pipeline

  • Di chuyển và biến đổi: sao chép hoặc định hình lại dữ liệu
  • Luồng điều khiển: quyết định bước nào chạy, theo thứ tự nào, và bao nhiêu lần
  • Siêu dữ liệu và kiểm định: quan sát và kiểm tra dữ liệu trước khi di chuyển
  • Thông báo: gửi tin nhắn và cảnh báo

Bốn nhóm hoạt động của pipeline: Move and transform, Control flow, Metadata and validation, và Notifications, với ví dụ như Copy data, ForEach, Lookup và Teams

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Tham số (Parameters)

Thẻ Parameter với batch date, source file và destination đưa vào một lần chạy pipeline, các biểu thức và hoạt động của nó

  • Cung cấp trước khi chạy bắt đầu
  • Có thể thay đổi nguồn, ngày hoặc đích đến
  • Giữ cố định trong lần chạy đó
  • Trở thành đầu vào cho các biểu thức hoạt động
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Biến (Variables)

  • Giá trị có tên mà các hoạt động đọc và cập nhật
  • Khác tham số: có thể thay đổi trong khi chạy
  • Ví dụ: lấy từ tham số, giữ tên bảng tạm, đếm số tệp đã xử lý

Sổ tay Variable với một bảng tạm và bộ đếm tăng từ 1 đến 3 trong quá trình chạy pipeline

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Thêm tham số và biến

  • Chọn vùng trống trên canvas
  • Mở thẻ Parameters hoặc Variables
  • Chọn + New, rồi nhập tên và giá trị mặc định

Canvas pipeline không có hoạt động nào được chọn, thẻ Parameters mở ở dưới hiển thị tham số source_file với giá trị mặc định orders.csv

Thẻ Variables với biến files_processed và giá trị mặc định 0

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Kết nối dữ liệu an toàn

Hộp thoại Get data, "Choose a data source to get started", với ô tìm kiếm, danh sách New sources và OneLake catalog

  • Chọn nguồn dữ liệu
  • Thiết lập kết nối an toàn
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Xác thực kết nối an toàn

Biểu mẫu thông tin xác thực kết nối: tạo kết nối mới, không gateway, xác thực tài khoản Tổ chức, và nút Sign in

  • Thiết lập thông tin xác thực
  • Thông tin xác thực được giữ bí mật: không lưu trong tham số hay biến
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Hai cách khởi chạy pipeline

Chạy theo yêu cầu
  • Khởi động thủ công
  • Hữu ích để thử nghiệm hoặc công việc khẩn cấp

 

Nút Run được tô sáng trên thanh công cụ Home của pipeline, với thẻ Output hiển thị một lần chạy thành công

Chạy theo lịch
  • Tự động bắt đầu
  • Hữu ích cho ingestion lặp lại

 

Ngăn PL_LoadTrips Schedule với biểu mẫu Add schedule đặt Fixed, lặp theo phút mỗi 15 phút

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Kiểm tra một lần chạy pipeline

  • Chạy, rồi xác nhận dữ liệu, không chỉ trạng thái
  • Mở đích đến từ OneLake catalog
  • Kiểm tra bảng hoặc tệp mong đợi có tồn tại

Lakehouse LH_TripStore với các thư mục puYear của pipeline trong Files

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Cùng luyện tập nào!

Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric

Preparing Video For Download...