Xây dựng pipeline tập trung
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric
Fiodar Sazanavets
Senior Software Engineer
Pipeline là một lộ trình được lập kế hoạch
Source:
ga khởi hành
Destination:
ga đến
Activities:
các thao tác trên tuyến
Run:
một hành trình hoàn tất
Bắt đầu pipeline mới
Bắt đầu với canvas trống hoặc có hướng dẫn
Practice with sample data
dùng mẫu dựng sẵn
Canvas của pipeline
Canvas hiển thị các hoạt động của pipeline và cách chúng kết nối
Output
hiển thị trạng thái hoạt động
Hoạt động Copy data
Hoạt động phổ biến trong pipeline
Hoạt động như một Copy job, nhưng được định nghĩa trong pipeline
Đọc nguồn, ghi vào đích như bảng lakehouse
Run
hiển thị chi tiết chạy và trạng thái hoạt động
Nhóm hoạt động của pipeline
Di chuyển và biến đổi:
sao chép hoặc định hình lại dữ liệu
Luồng điều khiển:
quyết định bước nào chạy, theo thứ tự nào, và bao nhiêu lần
Siêu dữ liệu và kiểm định:
quan sát và kiểm tra dữ liệu trước khi di chuyển
Thông báo:
gửi tin nhắn và cảnh báo
Tham số (Parameters)
Cung cấp trước khi chạy bắt đầu
Có thể thay đổi nguồn, ngày hoặc đích đến
Giữ cố định trong lần chạy đó
Trở thành đầu vào cho các biểu thức hoạt động
Biến (Variables)
Giá trị có tên mà các hoạt động đọc và cập nhật
Khác tham số: có thể thay đổi trong khi chạy
Ví dụ: lấy từ tham số, giữ tên bảng tạm, đếm số tệp đã xử lý
Thêm tham số và biến
Chọn vùng trống trên canvas
Mở thẻ
Parameters
hoặc
Variables
Chọn
+ New
, rồi nhập tên và giá trị mặc định
Kết nối dữ liệu an toàn
Chọn nguồn dữ liệu
Thiết lập kết nối an toàn
Xác thực kết nối an toàn
Thiết lập thông tin xác thực
Thông tin xác thực được giữ bí mật: không lưu trong tham số hay biến
Hai cách khởi chạy pipeline
Chạy theo yêu cầu
Khởi động thủ công
Hữu ích để thử nghiệm hoặc công việc khẩn cấp
Chạy theo lịch
Tự động bắt đầu
Hữu ích cho ingestion lặp lại
Kiểm tra một lần chạy pipeline
Chạy, rồi xác nhận dữ liệu, không chỉ trạng thái
Mở đích đến từ
OneLake catalog
Kiểm tra bảng hoặc tệp mong đợi có tồn tại
Cùng luyện tập nào!
Nạp dữ liệu và Mô hình ngữ nghĩa với Microsoft Fabric
Preparing Video For Download...