การทำความสะอาดข้อความ

Feature Engineering for NLP in Python

Rounak Banik

Data Scientist

เทคนิคการทำความสะอาดข้อความ

ช่องว่างและ escape sequence ที่ไม่จำเป็น
เครื่องหมายวรรคตอน
อักขระพิเศษ (ตัวเลข, อีโมจิ ฯลฯ)
Stopwords

isalpha()

"Dog".isalpha()

True

"3dogs".isalpha()

False

"12347".isalpha()

False

"!".isalpha()

False

"❤".isalpha()

False

ข้อควรระวัง

คำย่อ: U.S.A, U.K ฯลฯ
คำนามเฉพาะ: word2vec และ xto10x
เขียนฟังก์ชันเองโดยใช้ regex สำหรับกรณีที่ซับซ้อนกว่า

การลบอักขระที่ไม่ใช่ตัวอักษร

string = """
OMG!!!! This is like    the best thing ever \t\n. 
Wow, such an amazing song! I'm hooked. Top 5 definitely. ❤
"""

import spacy

# Generate list of tokens
nlp = spacy.load('en_core_web_sm')
doc = nlp(string)
lemmas = [token.lemma_ for token in doc]

การลบอักขระที่ไม่ใช่ตัวอักษร

...
...
# Remove tokens that are not alphabetic
a_lemmas = [lemma for lemma in lemmas 
            if lemma.isalpha() or lemma == '-PRON-']


# Print string after text cleaning
print(' '.join(a_lemmas))

'omg this be like the good thing ever wow such an amazing song -PRON- be hooked top definitely'

Stopwords

คำที่ปรากฏบ่อยมาก
เช่น คำนำหน้านาม, กริยา be, สรรพนาม ฯลฯ

การลบ stopwords ด้วย spaCy

# Get list of stopwords
stopwords = spacy.lang.en.stop_words.STOP_WORDS

string = """
OMG!!!! This is like    the best thing ever \t\n. 
Wow, such an amazing song! I'm hooked. Top 5 definitely. ❤
"""

การลบ stopwords ด้วย spaCy

...
...
# Remove stopwords and non-alphabetic tokens
a_lemmas = [lemma for lemma in lemmas 
            if lemma.isalpha() and lemma not in stopwords]
# Print string after text cleaning
print(' '.join(a_lemmas))

'omg like good thing wow amazing song hooked definitely'

เทคนิคการประมวลผลข้อความอื่น

การลบแท็ก HTML/XML
การแทนที่อักขระเสริม (เช่น é)
การแก้ไขการสะกดผิด

ข้อควรระวัง

ใช้เฉพาะเทคนิคการประมวลผลข้อความที่เหมาะสมกับงานของคุณเท่านั้น

มาฝึกกันเถอะ!

Feature Engineering for NLP in Python