Práce s textovými daty

Detekce podvodů v Pythonu

Charlotte Werger

Data Scientist

Textová data se při odhalování podvodů vyskytují často

Užitečné typy textových dat:

  1. E-maily od zaměstnanců a/nebo klientů
  2. Popis transakcí
  3. Poznámky zaměstnanců
  4. Popis v pojistném formuláři
  5. Záznamy telefonních hovorů
  6. ...
Detekce podvodů v Pythonu

Techniky dolování textu pro odhalování podvodů

  1. Vyhledávání slov
  2. Analýza sentimentu
  3. Frekvence slov a tematická analýza
  4. Styl
Detekce podvodů v Pythonu

Vyhledávání slov pro odhalování podvodů

Označování podezřelých slov:

  1. Jednoduché, přímočaré a snadno vysvětlitelné
  2. Výsledky shody lze použít jako filtr nad modelem strojového učení
  3. Výsledky shody lze použít jako příznak v modelu strojového učení

Detekce podvodů v Pythonu

Počty slov pro označení podvodů pomocí pandas

# Using a string operator to find words
df['email_body'].str.contains('money laundering')

# Select data that matches df.loc[df['email_body'].str.contains('money laundering', na=False)]
# Create a list of words to search for list_of_words = ['police', 'money laundering'] df.loc[df['email_body'].str.contains('|'.join(list_of_words) , na=False)]
# Create a fraud flag df['flag'] = np.where((df['email_body'].str.contains('|'.join (list_of_words)) == True), 1, 0)
Detekce podvodů v Pythonu

Pojďme si procvičit!

Detekce podvodů v Pythonu

Preparing Video For Download...