Modélisation de sujets sur la fraude

Détection de fraude en Python

Charlotte Werger

Data Scientist

Modélisation de sujets : découvrir des motifs cachés dans le texte

Découvrir des sujets dans des textes
« De quoi parle le texte »
Conceptuellement semblable au regroupement (clustering)
Comparer les sujets des cas de fraude et non-fraude et les utiliser comme variable ou signal
Ou… y a‑t‑il un sujet qui semble indiquer une fraude ?

Latent Dirichlet Allocation (LDA)

Avec LDA, vous obtenez :

un modèle « sujets par élément de texte » (des probabilités)
un modèle « mots par sujet »

Créer votre propre modèle de sujets :

Nettoyer vos données
Créer un sac de mots avec dictionnaire et corpus
Alimenter le modèle LDA avec le dictionnaire et le corpus

Latent Dirichlet Allocation (LDA)

Sac de mots : dictionnaire et corpus

from gensim import corpora

# Créer un dictionnaire du nombre d'occurrences par mot
dictionary = corpora.Dictionary(cleaned_emails)

# Filtrer les mots (peu) fréquents 
dictionary.filter_extremes(no_below=5, keep_n=50000)

# Créer le corpus
corpus = [dictionary.doc2bow(text) for text in cleaned_emails]

Latent Dirichlet Allocation (LDA) avec gensim

import gensim
# Définir le modèle LDA
ldamodel = gensim.models.ldamodel.LdaModel(corpus, num_topics = 3, 
id2word=dictionary, passes=15)

# Afficher trois sujets du modèle avec leurs mots principaux
topics = ldamodel.print_topics(num_words=4)
for topic in topics:
    print(topic)

(0, 0.029*"email" + 0.016*"send" + 0.016*"results" + 0.016*"invoice")
(1, 0.026*"price" + 0.026*"work" + 0.026*"management" + 0.026*"sell")
(2, 0.029*"distribute" + 0.029*"contact" + 0.016*"supply" + 0.016*"fast")

Passons à la pratique !

Détection de fraude en Python