Data Engineering ใน Microsoft Fabric

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Data Analytics แบบครบวงจร

• นำเข้าข้อมูลจากแหล่งต้นทางและจัดเก็บใน data lake
• เตรียมและแปลงข้อมูล
• แสดงผลและวิเคราะห์ข้อมูล

Data Factory

• นำเข้า เตรียม และแปลงข้อมูล
• Dataflows และ Data Pipelines

Dataflows

• อินเทอร์เฟซแบบ low-code สำหรับการนำเข้าและแปลงข้อมูล
• เครื่องมือแปลงข้อมูล Power Query

Data Pipelines

• ชุดของ activities ที่ทำงานร่วมกันเพื่อดำเนินงาน
• ประเภทของ activities:
  • การเคลื่อนย้ายข้อมูล (Copy activity, Dataflow)
  • การแปลงข้อมูล (Notebook, Stored Procedure, Script)
  • การควบคุม (Switch, If, ForEach, Wait)

Synapse Data Engineering

• Lakehouses
• Notebooks
• Apache Spark Job definitions

Lakehouses

• ข้อมูลที่มีโครงสร้าง (ตาราง)
• ข้อมูลที่ไม่มีโครงสร้าง (ไฟล์)

Notebooks

• อินเทอร์เฟซเว็บแบบโต้ตอบได้
  • โค้ดสำหรับจัดการข้อมูล
  • การแสดงผลข้อมูล
  • ความคิดเห็น / คำอธิบาย
• รองรับหลายภาษา:
  • PySpark (Python)
  • Spark (Scala)
  • Spark SQL (SQL)
  • SparkR (R)

Apache Spark Job Definitions

• ส่งงานแบบ batch/streaming ไปยัง Spark clusters
• ใช้แทนหรือควบคู่กับ Notebooks:
  • Notebooks สำหรับการสำรวจข้อมูล การทดลอง และการพัฒนาร่วมกัน
  • Spark Job Definition สำหรับการรันโค้ดประมวลผลข้อมูลระดับ production แบบอัตโนมัติ

Synapse Data Warehouse

• ทำงานเหมือน relational data warehouse แบบดั้งเดิม
• จัดเก็บข้อมูลใน OneLake ด้วยรูปแบบ Delta Lake แบบเปิด
• รองรับการทำงานร่วมกับ workloads อื่นใน Fabric
• ไม่จำเป็นต้องสร้างสำเนาข้อมูลหลายชุด

เลือก Data Store ที่เหมาะสม

• Lakehouse
  • ข้อมูลที่ไม่มีโครงสร้าง (ไฟล์)
  • Spark เป็นอินเทอร์เฟซหลักในการพัฒนา

 

• Warehouse
  • ข้อมูลที่มีโครงสร้าง (ตาราง)
  • T-SQL เป็นอินเทอร์เฟซหลักในการพัฒนา

เลือกเครื่องมือคัดลอกข้อมูล

เลือกเครื่องมือคัดลอกข้อมูล

เลือกเครื่องมือคัดลอกข้อมูล

มาฝึกกันเถอะ!

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric