Dolandırıcılıkta konu modelleme

Python ile Sahtekarlık Tespiti

Charlotte Werger

Data Scientist

Konu modelleme: metinde gizli örüntüleri keşfet

Metin verisinde konuları keşfet
"Metin ne hakkında"
Kavramsal olarak kümelemeye benzer
Dolandırıcılık vakalarının konularını dolandırıcı olmayanlarla karşılaştır; özellik veya bayrak olarak kullan
Ya da... veride dolandırıcılığı işaret eden belirli bir konu var mı?

Latent Dirichlet Allocation (LDA)

LDA ile şunları elde edersin:

"metin başına konu" modeli (olasılıklar)
"konu başına kelime" modeli

Kendi konu modelini oluştur:

Verini temizle
Sözlük ve korpus ile bir bag of words oluştur
Sözlüğü ve korpusu LDA modeline ver

Latent Dirichlet Allocation (LDA)

Bag of words: sözlük ve korpus

from gensim import corpora

# Bir kelimenin kaç kez geçtiğine göre sözlük oluştur
dictionary = corpora.Dictionary(cleaned_emails)

# (Nadiren/Sık) geçen kelimeleri filtrele 
dictionary.filter_extremes(no_below=5, keep_n=50000)

# Korpus oluştur
corpus = [dictionary.doc2bow(text) for text in cleaned_emails]

gensim ile Latent Dirichlet Allocation (LDA)

import gensim
# LDA modelini tanımla
ldamodel = gensim.models.ldamodel.LdaModel(corpus, num_topics = 3, 
id2word=dictionary, passes=15)

# Modelden üç konuyu en üst kelimelerle yazdır
topics = ldamodel.print_topics(num_words=4)
for topic in topics:
    print(topic)

(0, 0.029*"email" + 0.016*"send" + 0.016*"results" + 0.016*"invoice")
(1, 0.026*"price" + 0.026*"work" + 0.026*"management" + 0.026*"sell")
(2, 0.029*"distribute" + 0.029*"contact" + 0.016*"supply" + 0.016*"fast")

Hadi pratik yapalım!

Python ile Sahtekarlık Tespiti