Praca z danymi tekstowymi

Wykrywanie oszustw w Pythonie

Charlotte Werger

Data Scientist

Dane tekstowe są często spotykane podczas wykrywania oszustw

Przydatne typy danych tekstowych:

  1. E-maile od pracowników i/lub klientów
  2. Opisy transakcji
  3. Notatki pracowników
  4. Pole opisu w formularzu roszczenia ubezpieczeniowego
  5. Nagrane rozmowy telefoniczne
  6. ...
Wykrywanie oszustw w Pythonie

Techniki eksploracji tekstu w wykrywaniu oszustw

  1. Wyszukiwanie słów
  2. Analiza sentymentu
  3. Częstotliwość słów i analiza tematyczna
  4. Styl
Wykrywanie oszustw w Pythonie

Wyszukiwanie słów w wykrywaniu oszustw

Oznaczanie podejrzanych słów:

  1. Prosta, bezpośrednia i łatwa do wyjaśnienia metoda
  2. Wyniki dopasowania mogą służyć jako filtr dla modelu uczenia maszynowego
  3. Wyniki dopasowania mogą być cechą w modelu uczenia maszynowego

Wykrywanie oszustw w Pythonie

Liczenie słów do oznaczania oszustw w pandas

# Using a string operator to find words
df['email_body'].str.contains('money laundering')

# Select data that matches df.loc[df['email_body'].str.contains('money laundering', na=False)]
# Create a list of words to search for list_of_words = ['police', 'money laundering'] df.loc[df['email_body'].str.contains('|'.join(list_of_words) , na=False)]
# Create a fraud flag df['flag'] = np.where((df['email_body'].str.contains('|'.join (list_of_words)) == True), 1, 0)
Wykrywanie oszustw w Pythonie

Czas na ćwiczenia!

Wykrywanie oszustw w Pythonie

Preparing Video For Download...