การสร้างไปป์ไลน์ที่เจาะจง

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

ไปป์ไลน์คือเส้นทางที่วางแผนไว้

Train route from a source station through three activity stops to a destination station, spanning one run

  • Source: สถานีต้นทาง
  • Destination: สถานีปลายทาง
  • Activities: การดำเนินงานตามเส้นทาง
  • Run: การเดินทางที่เสร็จสมบูรณ์หนึ่งครั้ง
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การเริ่มไปป์ไลน์ใหม่

Start with guidance options for a new pipeline: Copy data assistant, Practice with sample data, and Templates

  • เริ่มจาก canvas เปล่าหรือใช้คำแนะนำ
    • Practice with sample data ใช้เทมเพลตที่กำหนดไว้ล่วงหน้า
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Pipeline canvas

  • Canvas แสดงกิจกรรมของไปป์ไลน์และการเชื่อมต่อกัน
  • แท็บ Output แสดงสถานะของกิจกรรม

Pipeline canvas with a succeeded Copy data activity and the Output tab showing the run status

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

กิจกรรม Copy data

Copy data activity reading from a source and writing to a lakehouse table, with a succeeded run

  • กิจกรรมไปป์ไลน์ที่พบบ่อย
  • ทำงานคล้าย Copy job แต่กำหนดไว้ในไปป์ไลน์
  • อ่านจากแหล่งข้อมูล เขียนไปยังปลายทาง เช่น ตารางใน lakehouse
  • แท็บ Run แสดงรายละเอียดการรันและสถานะกิจกรรม
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

กลุ่มกิจกรรมของไปป์ไลน์

  • Move and transform: คัดลอกหรือปรับรูปแบบข้อมูล
  • Control flow: กำหนดว่าขั้นตอนใดทำงาน ในลำดับใด และกี่ครั้ง
  • Metadata and validation: ตรวจสอบข้อมูลก่อนย้าย
  • Notifications: ส่งข้อความและการแจ้งเตือน

Four pipeline activity groups, Move and transform, Control flow, Metadata and validation, and Notifications, with examples such as Copy data, ForEach, Lookup, and Teams

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

พารามิเตอร์

Parameter ticket with batch date, source file, and destination feeding a pipeline run, its expressions, and activities

  • กำหนดก่อนเริ่มการรัน
  • สามารถเปลี่ยนแหล่งข้อมูล วันที่ หรือปลายทาง
  • คงที่ตลอดการรันนั้น
  • กลายเป็นค่าป้อนเข้าที่นิพจน์ของกิจกรรมใช้
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

ตัวแปร

  • ค่าที่มีชื่อซึ่งกิจกรรมอ่านและอัปเดตได้
  • ต่างจากพารามิเตอร์ตรงที่สามารถเปลี่ยนแปลงระหว่างการรันได้
  • ตัวอย่าง: กำหนดค่าจากพารามิเตอร์ เก็บชื่อตารางชั่วคราว นับจำนวนไฟล์ที่ประมวลผลแล้ว

Variable notebook with a temp table and a counter that increases from 1 to 3 during a pipeline run

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การเพิ่มพารามิเตอร์และตัวแปร

  • เลือกพื้นที่ว่างบน canvas
  • เปิดแท็บ Parameters หรือ Variables
  • เลือก + New แล้วป้อนชื่อและค่าเริ่มต้น

Pipeline canvas with no activity selected, Parameters tab open at the bottom showing a source_file parameter with default value orders.csv

Variables tab with a files_processed variable and default value 0

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การเชื่อมต่อข้อมูลอย่างปลอดภัย

Get data dialog, "Choose a data source to get started", with a search box, New sources list, and OneLake catalog

  • เลือกแหล่งข้อมูล
  • สร้างการเชื่อมต่อที่ปลอดภัย
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การยืนยันตัวตนสำหรับการเชื่อมต่อที่ปลอดภัย

Connection credentials form: create new connection, no gateway, Organizational account authentication, and a Sign in button

  • กำหนดข้อมูลรับรอง
  • ข้อมูลรับรองถูกเก็บเป็นความลับ ไม่ถูกจัดเก็บในพารามิเตอร์หรือตัวแปร
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

สองวิธีในการเริ่มไปป์ไลน์

การรันตามต้องการ
  • เริ่มด้วยตนเอง
  • เหมาะสำหรับการทดสอบหรืองานเร่งด่วน

 

Run highlighted on the pipeline Home toolbar, with the Output tab showing a succeeded run

การรันตามกำหนดเวลา
  • เริ่มโดยอัตโนมัติ
  • เหมาะสำหรับงานนำเข้าข้อมูลที่เกิดซ้ำ

 

PL_LoadTrips Schedule pane with an Add schedule form set to Fixed, repeating by the minute every 15 minutes

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การตรวจสอบการรันไปป์ไลน์

  • รันแล้วตรวจสอบข้อมูล ไม่ใช่แค่สถานะ
  • เปิดปลายทางจาก OneLake catalog
  • ตรวจสอบว่าตารางหรือไฟล์ที่คาดไว้มีอยู่จริง

LH_TripStore lakehouse with the pipeline's puYear folders in Files

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

มาฝึกกันเถอะ!

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Preparing Video For Download...