การทำความสะอาดและกรองข้อมูล

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

เครื่องมือสำหรับทำความสะอาดข้อมูล

 

 

การจัดการแถวว่าง

• ลบแถวที่ว่างทั้งแถว

 

การจัดการแถวว่างด้วย Dataflows

• การแปลง Remove blank rows

 

การจัดการแถวว่างด้วย Spark

• ฟังก์ชัน dropna( ) ของ DataFrame
• ลบแถวที่มีค่า null ค่าใดค่าหนึ่ง หรือลบเมื่อทุกค่าเป็น null

การจัดการแถวซ้ำ

• ลบแถวที่ซ้ำกัน

 

การจัดการแถวซ้ำด้วย Dataflows

• การแปลง Remove duplicates

 

การจัดการแถวซ้ำด้วย Spark

• ฟังก์ชัน dropDuplicates( ) ของ DataFrame

 

การแทนที่ค่า

• แทนที่ค่าหนึ่งในคอลัมน์ด้วยค่าอื่น
• ใช้แทนที่เซลล์ว่างด้วยค่าที่กำหนดได้เช่นกัน

 

การแทนที่ค่าด้วย Dataflows

• การแปลง Replace values

 

การแทนที่ค่าด้วย Spark

• ฟังก์ชัน replace( )_ ของ DataFrame

 

การแก้ไขชนิดข้อมูล

• ความสอดคล้องของชนิดข้อมูลทั่วทั้งโมเดล
• รองรับการเปรียบเทียบค่าต่างๆ

การแก้ไขชนิดข้อมูล

• ความสอดคล้องของชนิดข้อมูลทั่วทั้งโมเดล
• รองรับการเปรียบเทียบค่าต่างๆ
• รองรับการดำเนินการเฉพาะของชนิดข้อมูล
  • การดำเนินการทางคณิตศาสตร์กับคอลัมน์ตัวเลข
  • การดำเนินการวันที่/เวลากับคอลัมน์วันที่/เวลา

การแก้ไขชนิดข้อมูลด้วย Dataflows

• เมนูบริบท (ตัวเลือกที่ 1):
  1. เลือกคอลัมน์ในมุมมองข้อมูล
  2. คลิกไอคอนทางด้านซ้ายของส่วนหัวคอลัมน์

การแก้ไขชนิดข้อมูลด้วย Dataflows

• เมนูบริบท (ตัวเลือกที่ 1):
  1. เลือกคอลัมน์ในมุมมองข้อมูล
  2. คลิกไอคอนทางด้านซ้ายของส่วนหัวคอลัมน์
  3. เลือกชนิดข้อมูลใหม่จากรายการ

การแก้ไขชนิดข้อมูลด้วย Dataflows

• เมนูบริบท (ตัวเลือกที่ 2):
  1. เลือกคอลัมน์ในมุมมองข้อมูล
  2. คลิกขวาที่ส่วนหัวคอลัมน์

การแก้ไขชนิดข้อมูลด้วย Dataflows

• เพิ่ม Transform:
  1. เลือกคอลัมน์ในมุมมองข้อมูล
  2. เพิ่มการแปลงโดยคลิก (+) ในมุมมองไดอะแกรม
  3. คลิก Change type จากเมนูป็อปอัป แล้วเลือกชนิดข้อมูลใหม่จากรายการ

การแก้ไขชนิดข้อมูลด้วย Spark

• ฟังก์ชัน cast( )_ ของ DataFrame

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• ตัวอย่าง:

# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

การกรองข้อมูล

• รวมหรือกรองแถวตามเงื่อนไขที่กำหนด

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

การกรองข้อมูลด้วย Dataflows

• ใช้การแปลง Filter

การกรองข้อมูลด้วย Spark

• ฟังก์ชัน filter( ) ของ DataFrame
• where( ) เป็น alias ของ filter( )

df.filter( <condition> )

• ตัวอย่าง:

# Return only DataFrame rows whete State = 'NY'
df.filter( df.state == 'NY' )

มาฝึกกันเถอะ!

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric