Ресемплинг при ограниченных данных

Продвинутая теория вероятностей: неопределённость в данных

Maarten Van den Broeck

Senior Content Developer at DataCamp

Что такое ресемплинг?

  • Сколько шариков каждого цвета?
  • Оценить без пересчёта
  • Решение: брать повторные выборки и фиксировать цвета

Банка с шариками

Продвинутая теория вероятностей: неопределённость в данных

Методы ресемплинга

  • Бутстрэппинг
  • Кросс-валидация
  • Синтетический ресемплинг
Продвинутая теория вероятностей: неопределённость в данных

Бутстрэппинг

Иллюстрация бутстрэппинга

Продвинутая теория вероятностей: неопределённость в данных

Кросс-валидация

Иллюстрация кросс-валидации

Продвинутая теория вероятностей: неопределённость в данных

Синтетический ресемплинг

Иллюстрация синтетического ресемплинга

Продвинутая теория вероятностей: неопределённость в данных

Пример: выявление мошенничества

  • Мошеннические транзакции встречаются редко
    • Модели относят все транзакции к безопасным
  • Генерация синтетических случаев мошенничества
    • Модель может выявлять закономерности мошенничества

Человек с картой и ноутбуком

Продвинутая теория вероятностей: неопределённость в данных

Пример: выявление мошенничества

  • Исходная ситуация:

    • 1 000 000 транзакций в месяц
    • 1 000, или 0,1%, классифицированы как мошеннические

  • Синтетический ресемплинг:

    • Увеличение числа мошеннических примеров до 10 000, или 1%

Человек с картой и ноутбуком

Продвинутая теория вероятностей: неопределённость в данных

Давайте потренируемся!

Продвинутая теория вероятностей: неопределённость в данных

Preparing Video For Download...