การสำรวจและการแปลงข้อมูล

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

สถานการณ์การแปลงข้อมูล

ทำไมต้องแปลงข้อมูล?

ลบหรือทำความสะอาดข้อมูลที่ไม่ถูกต้องจากระบบต้นทาง

ภาพตารางข้อมูลที่มีรายการไม่ถูกต้องถูกไฮไลต์สีแดง

สถานการณ์การแปลงข้อมูล

ทำไมต้องแปลงข้อมูล?

ลบหรือทำความสะอาดข้อมูลที่ไม่ถูกต้องจากระบบต้นทาง
แปลงชนิดข้อมูลเพื่อให้สอดคล้องกัน

ภาพแสดงคอลัมน์ข้อมูลที่เก็บตัวเลขในรูปแบบข้อความแล้วแปลงเป็นตัวเลขจริง

สถานการณ์การแปลงข้อมูล

ทำไมต้องแปลงข้อมูล?

ลบหรือทำความสะอาดข้อมูลที่ไม่ถูกต้องจากระบบต้นทาง
แปลงชนิดข้อมูลเพื่อให้สอดคล้องกัน
กรองข้อมูลที่ไม่เกี่ยวข้องออก

ภาพแสดงตารางก่อนและหลังการกรองแถวที่ไม่ผ่านเงื่อนไข โดยเก็บเฉพาะระเบียนที่ฟิลด์ที่กำหนดไม่เท่ากับ 'X'

สถานการณ์การแปลงข้อมูล

ทำไมต้องแปลงข้อมูล?

ลบหรือทำความสะอาดข้อมูลที่ไม่ถูกต้องจากระบบต้นทาง
แปลงชนิดข้อมูลเพื่อให้สอดคล้องกัน
กรองข้อมูลที่ไม่เกี่ยวข้องออก
รวมข้อมูลจากหลายระบบต้นทาง

ไดอะแกรมแสดงการรวมสองตารางเป็นตารางเดียว -

สถานการณ์การแปลงข้อมูล

ทำไมต้องแปลงข้อมูล?

ลบหรือทำความสะอาดข้อมูลที่ไม่ถูกต้องจากระบบต้นทาง
แปลงชนิดข้อมูลเพื่อให้สอดคล้องกัน
กรองข้อมูลที่ไม่เกี่ยวข้องออก
รวมข้อมูลจากหลายระบบต้นทาง
จัดรูปแบบข้อมูลให้เหมาะกับการวิเคราะห์และการรายงาน

ไดอะแกรมแสดงการแปลงตารางขนาดใหญ่เป็น star schema

การทำความสะอาดข้อมูล

ลดแถวที่ไม่เกี่ยวข้อง (ลบแถวบน ลบแถวล่าง)
ลบข้อมูลซ้ำ
ลบแถวว่าง
ลบแถวที่มีข้อผิดพลาด
แปลงชนิดข้อมูล

ภาพตารางข้อมูลต้นทางที่มีรายการไม่ถูกต้องถูกไฮไลต์สีแดง พร้อมลูกศรแสดงการลบระเบียนเหล่านั้นออกจากตารางปลายทาง

การกรองข้อมูล

การจำกัดขอบเขตชุดข้อมูล
- เลือกเฉพาะข้อมูลบางส่วน
- ตัดระเบียนที่ไม่ตรงเงื่อนไขออก
ตัวอย่าง: SQL WHERE clause

ภาพหน้าจอคิวรีที่ดึงข้อมูลจากตาราง Orders โดยกรองเฉพาะแถวที่คอลัมน์ State เท่ากับ NY

ไดอะแกรมแสดงการกรองตารางโดยเก็บเฉพาะแถวที่เกี่ยวข้องกับรัฐ NY

การผสานและการรวมข้อมูล

เชื่อมสองชุดข้อมูลขึ้นไปเข้าด้วยกัน
มีประโยชน์ในการสร้าง star schema

ไดอะแกรมแสดงการรวมสองตารางเข้าด้วยกัน

การรวมกลุ่มและการแยกกลุ่มข้อมูล

การรวมกลุ่ม (Aggregate): รวบรวมและสรุปข้อมูล

ตารางคำสั่งซื้อต่อรัฐที่ถูกรวมกลุ่มเป็นตารางใหม่แสดงจำนวนคำสั่งซื้อรวมและยอดขายรวมต่อรัฐ

การแยกกลุ่ม (Disaggregate): แยกข้อมูล มักแยกจากคอลัมน์เดียวเป็นหลายคอลัมน์

ตารางที่ตั้งสาขาซึ่งเก็บเมืองและรัฐรวมกัน ถูกแยกออกเป็นตารางใหม่ที่มีคอลัมน์เมืองและรัฐแยกจากกัน

เครื่องมือสำรวจและแปลงข้อมูล

Dataflows
Data Wrangler

ภาพหน้าจอสองภาพแสดงอินเทอร์เฟซแบบกราฟิกของ Dataflows และ Data Wrangler

Spark notebooks
SQL scripts

ภาพหน้าจอสองภาพแสดงตัวอย่าง Spark notebook และ SQL script

Dataflows

อินเทอร์เฟซแบบกราฟิก Low-code
การทำความสะอาดข้อมูล
การกรองข้อมูล
การรวมกลุ่มข้อมูล

ภาพหน้าจอ Dataflow designer แสดงคิวรีตัวอย่างและตัวเลือกการแปลงข้อมูลที่มีให้ใช้งาน

Data Wrangler

เครื่องมือบน Notebook สำหรับการสำรวจข้อมูลเชิงวิเคราะห์
กริดแสดงข้อมูล
สถิติสรุปแบบไดนามิก
การแสดงผลในตัว
ไลบรารีการดำเนินการทำความสะอาดข้อมูลทั่วไป

ภาพหน้าจออินเทอร์เฟซ Data Wrangler แสดงตัวอย่างการดำเนินการต่างๆ

Spark notebooks

รองรับหลายภาษา
ไลบรารี Python สำหรับจัดการข้อมูล
- PySpark สำหรับชุดข้อมูลขนาดใหญ่
- Pandas สำหรับชุดข้อมูลขนาดเล็ก

ภาพหน้าจอ Spark notebook พร้อมโค้ด PySpark ตัวอย่าง

SQL scripts

คำสั่ง T-SQL สำหรับจัดการข้อมูล: SELECT, INSERT, UPDATE, DELETE
JOIN สำหรับรวมข้อมูล
CAST และ CONVERT สำหรับแปลงชนิดข้อมูล

ภาพหน้าจอ SQL editor พร้อมตัวอย่างคิวรี SELECT

มาฝึกกันเถอะ!

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric