Работа с текстовыми данными

Обнаружение мошенничества на Python

Charlotte Werger

Data Scientist

Текстовые данные часто встречаются при выявлении мошенничества

Примеры полезных текстовых данных:

  1. Электронные письма сотрудников и/или клиентов
  2. Описания транзакций
  3. Заметки сотрудников
  4. Поле описания в форме страхового требования
  5. Записи телефонных разговоров
  6. ...
Обнаружение мошенничества на Python

Методы анализа текста для выявления мошенничества

  1. Поиск слов
  2. Анализ тональности
  3. Частота слов и тематический анализ
  4. Стиль
Обнаружение мошенничества на Python

Поиск слов для выявления мошенничества

Выявление подозрительных слов:

  1. Простой и понятный метод, легко поддающийся объяснению
  2. Результаты поиска можно использовать как фильтр поверх модели машинного обучения
  3. Результаты поиска можно использовать как признак в модели машинного обучения

Обнаружение мошенничества на Python

Подсчёт слов для выявления мошенничества с помощью pandas

# Using a string operator to find words
df['email_body'].str.contains('money laundering')

# Select data that matches df.loc[df['email_body'].str.contains('money laundering', na=False)]
# Create a list of words to search for list_of_words = ['police', 'money laundering'] df.loc[df['email_body'].str.contains('|'.join(list_of_words) , na=False)]
# Create a fraud flag df['flag'] = np.where((df['email_body'].str.contains('|'.join (list_of_words)) == True), 1, 0)
Обнаружение мошенничества на Python

Давайте потренируемся!

Обнаружение мошенничества на Python

Preparing Video For Download...