Introduction to Fabric Data Pipelines

การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines ใน Microsoft Fabric

ฟีเจอร์หลักสองอย่างใน Data Factory:

  1. Data Pipelines - จัดการการเคลื่อนย้ายข้อมูล Data Pipelines
  2. Dataflows - รองรับการแปลงข้อมูลผ่าน UI กว่า 300 รูปแบบ Dataflows

Data Pipelines ใน Microsoft Fabric:

  • ทำให้กระบวนการ ETL เป็นอัตโนมัติโดยใช้โค้ดน้อยหรือไม่ต้องเขียนเลย
  • รองรับการเชื่อมต่อแหล่งข้อมูลหลากหลายได้อย่างราบรื่น
  • มี Activity หลากหลายสำหรับการนำเข้าและแปลงข้อมูล
  • รัน Pipeline ด้วยตนเองหรือกำหนดเวลาด้วย Trigger
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

Activity ใน Data Pipelines

Activity คืองานย่อยภายใน Pipeline ที่ทำหน้าที่ประสานการประมวลผลข้อมูลและการทำงานอัตโนมัติ ไลน์ผลิตรถยนต์ที่แสดงให้เห็น Activity ใน Data Pipeline

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

ประเภทของ Activity

  1. Move & Transform:
    • จัดการการถ่ายโอนและแปลงข้อมูล
    • (เช่น Copy data Copy data).
  2. Metadata & Validation:
    • จัดการการตรวจสอบคุณภาพข้อมูลและดึง Metadata
    • (เช่น LookupLookup).
  3. Control Flow:
    • ควบคุมลำดับงานตามเงื่อนไขและลูป
    • (เช่น If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

ประเภทของ Activity

  1. Orchestrate:

    • ซิงโครไนซ์กระบวนการหลายอย่างพร้อมกัน
    • (เช่น Invoke Pipeline Invoke Pipeline).

  2. Notifications:

    • ส่งการแจ้งเตือนและอัปเดตผ่านอีเมลหรือเครื่องมือส่งข้อความ
    • (เช่น 365 Outlook365 Outlook, TeamsTeams).

  3. Transform:

    • ดำเนินการแปลงข้อมูลตาม Business Logic
    • (เช่น NotebookNotebook, Stored ProcedureStored Procedure).
การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

Parameter และ Variable ของ Pipeline

Parameter และ Variable ช่วยควบคุมและจัดการพฤติกรรมของ Pipeline แบบไดนามิก

Parameter:

  • กำหนดขณะรัน: ปรับพฤติกรรม Pipeline ด้วย Input จากภายนอก
  • ขอบเขต Global: ส่งผลต่อการรัน Pipeline ทั้งหมด

Variable:

  • ติดตามแบบไดนามิก: เปลี่ยนค่าได้ระหว่างการรัน Pipeline
  • ขอบเขต Local: จัดการข้อมูลภายใน Activity ที่กำหนด
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

Pipeline Runs

Pipeline Run คือการรัน Activity ทั้งหมดใน Pipeline จนเสร็จสมบูรณ์

  • On-Demand: เริ่มรัน Pipeline ได้โดยตรงจาก Fabric UI On-Demand Run
  • Scheduled: เริ่มรันตามความถี่ที่กำหนด Scheduled Run

Monitoring:

  • ติดตามและตรวจสอบการรันแต่ละครั้งด้วย Run ID เฉพาะใน Monitor Tab

Validation:

  • ตรวจสอบความถูกต้องของการตั้งค่า Pipeline ด้วยตัวเลือก Validate ก่อนรัน
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

มาฝึกกันเถอะ!

การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

Preparing Video For Download...