Phân tích phân cụm: chọn thuật toán phù hợp

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Lisa Stuart

Data Scientist

Thuật toán phân cụm

  • Số đặc trưng >> số quan sát
  • Huấn luyện mô hình khó hơn
  • Dựa trên khoảng cách
  • Kỹ thuật không giám sát phổ biến nhất
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Ứng dụng thực tế của phân cụm

  • Phân khúc khách hàng
  • Phân loại tài liệu
  • Phát hiện gian lận bảo hiểm/giao dịch
  • Phân đoạn ảnh
  • Phát hiện bất thường
  • Còn nhiều nữa...
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Thước đo khoảng cách: khoảng cách Manhattan (taxicab)

Biểu đồ Manhattan

1 https://en.wikipedia.org/wiki/Taxicab_geometry
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Thước đo khoảng cách: khoảng cách Euclid

Biểu đồ Euclid

1 http://rosalind.info/glossary/euclidean-distance/
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

K-means

Các bước K-means

  1. Tâm khởi tạo
  2. Gán mỗi điểm cho tâm gần nhất
  3. Tạo tâm mới
  4. Lặp bước 2 và 3
1 http://sherrytowers.com/2013/10/24/k-means-clustering/
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Phân cụm phân cấp kết tụ

Sơ đồ cây phân cụm phân cấp

1 https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Liên kết trong phân cụm kết tụ

  • Liên kết Ward
  • Liên kết tối đa/hoàn chỉnh
  • Liên kết trung bình
  • Liên kết đơn
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Chọn thuật toán phân cụm

Khoảng cách cụm

  • Đánh giá độ ổn định cụm
  • K-means và HC dùng khoảng cách Euclid
  • Khoảng cách giữa cụm và trong cụm

"Một thước đo độ khác biệt phù hợp quan trọng hơn nhiều so với việc chọn thuật toán phân cụm." - trích từ Elements of Statistical Learning

1 https://slideplayer.com/slide/8363774/
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Hàm phân cụm

Hàm/phương thức trả về
sklearn.cluster.Kmeans Thuật toán K-Means
sklearn.cluster.AgglomerativeClustering Thuật toán phân cụm kết tụ
kmeans.inertia_ Tổng bình phương khoảng cách tới tâm cụm gần nhất
scipy.cluster.hierarchy là sch Phân cụm phân cấp để vẽ dendrogram
sch.dendrogram() Hàm vẽ dendrogram
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Hãy luyện tập!

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Preparing Video For Download...