Sahtekarlığı tespit için metin madenciliği

Python ile Sahtekarlık Tespiti

Charlotte Werger

Data Scientist

Metin verini temizlemek

Metinsel verilerle çalışırken yapılacaklar:

Tokenization
Tüm stopword'leri kaldır
Sözcüklerini lemmatize et
Sözcüklerini stem et

Bundan...

Buna...

Önişleme bölüm 1

# 1. Tokenization
from nltk import word_tokenize
text = df.apply(lambda row: word_tokenize(row["email_body"]), axis=1)
text = text.rstrip()
text = re.sub(r'[^a-zA-Z]', ' ', text)

# 2. Tüm stopword'leri ve noktalama işaretlerini kaldır
from nltk.corpus import stopwords 
import string
exclude = set(string.punctuation)
stop = set(stopwords.words('english'))
stop_free = " ".join([word for word in text 
           if((word not in stop) and (not word.isdigit()))])
punc_free = ''.join(word for word in stop_free 
           if word not in exclude)

Önişleme bölüm 2

# Sözcükleri lemmatize et
from nltk.stem.wordnet import WordNetLemmatizer
lemma = WordNetLemmatizer()
normalized = " ".join(lemma.lemmatize(word) for word in punc_free.split())

# Sözcükleri stem et
from nltk.stem.porter import PorterStemmer
porter= PorterStemmer()
cleaned_text = " ".join(porter.stem(token) for token in normalized.split())

print (cleaned_text)

['philip','going','street','curious','hear','perspective','may','wish','offer','trading','floor','enron',
 'stock','lower','joined','company','business','school','imagine','quite','happy','people','day', 
 'relate','somewhat','stock','around','fact','broke','day','ago','knowing','imagine','letting',
 'event','get','much','taken','similar','problem','hope','everything','else','going','well','family',
 'knee','surgery','yet','give','call','chance','later']

Hadi pratik yapalım!

Python ile Sahtekarlık Tespiti