Chuẩn bị dữ liệu cho phân cụm

Phân cụm trong Python

Shaumik Daityari

Business Analyst

Vì sao cần chuẩn bị dữ liệu cho phân cụm?

Biến có đơn vị không tương đồng (kích thước cm, giá $)
Cùng đơn vị nhưng khác thang đo và phương sai lớn (chi cho ngũ cốc, du lịch)
Dữ liệu thô có thể gây thiên lệch khi phân cụm
Cụm có thể phụ thuộc nặng vào một biến
Giải pháp: chuẩn hóa từng biến

Chuẩn hóa dữ liệu

Chuẩn hóa: đưa dữ liệu về độ lệch chuẩn bằng 1

x_new = x / std_dev(x)

from scipy.cluster.vq import whiten

data = [5, 1, 3, 3, 2, 3, 3, 8, 1, 2, 2, 3, 5]

scaled_data = whiten(data)
print(scaled_data)

[2.73, 0.55, 1.64, 1.64, 1.09, 1.64, 1.64, 4.36, 0.55, 1.09, 1.09, 1.64, 2.73]

Minh họa: chuẩn hóa dữ liệu

# Import plotting library
from matplotlib import pyplot as plt

# Initialize original, scaled data
plt.plot(data, 
         label="original")
plt.plot(scaled_data, 
         label="scaled")

# Show legend and display plot
plt.legend()
plt.show()

Tiếp theo: vài bài tập tự làm

Phân cụm trong Python