Обучение без учителя: основы

Кластерный анализ на Python

Shaumik Daityari

Business Analyst

Пример из жизни: Google News

  • Как Google News классифицирует статьи?
  • Алгоритм обучения без учителя: кластеризация
  • Поиск сходства по частым терминам в статьях

Кластерный анализ на Python

Размеченные и неразмеченные данные

Данные без меток

  • Точка 1: (1, 2)
  • Точка 2: (2, 2)
  • Точка 3: (3, 1)

Данные с метками

  • Точка 1: (1, 2), Метка: Опасная зона
  • Точка 2: (2, 2), Метка: Нормальная зона
  • Точка 3: (3, 1), Метка: Нормальная зона
Кластерный анализ на Python

Что такое обучение без учителя?

  • Группа алгоритмов машинного обучения, выявляющих закономерности в данных
  • Данные для алгоритмов не размечены, не классифицированы и не охарактеризованы
  • Цель алгоритма — выявить любую структуру в данных
  • Распространённые алгоритмы: кластеризация, нейронные сети, обнаружение аномалий
Кластерный анализ на Python

Что такое кластеризация?

  • Группировка объектов по схожим характеристикам
  • Объекты внутри группы похожи друг на друга больше, чем на объекты из других групп
  • Пример: расстояние между точками на плоскости
Кластерный анализ на Python

Визуализация данных для кластеризации — наблюдения покемонов

from matplotlib import pyplot as plt
x_coordinates = [80, 93, 86, 98, 86, 9, 15, 3, 10, 20, 44, 56, 49, 62, 44]
y_coordinates = [87, 96, 95, 92, 92, 57, 49, 47, 59, 55, 25, 2, 10, 24, 10]
plt.scatter(x_coordinates, y_coordinates)
plt.show()
Кластерный анализ на Python

Кластерный анализ на Python

Кластерный анализ на Python

Давайте потренируемся!

Кластерный анализ на Python

Preparing Video For Download...