เดาภาษาได้ไหม?

Sentiment Analysis ด้วย Python

Violeta Misheva

Data Scientist

ตรวจจับภาษาของสตริงใน Python

from langdetect import detect_langs 
foreign = 'Este libro ha sido uno de los mejores libros que he leido.'

detect_langs(foreign)

[es:0.9999945352697024]

ตรวจจับภาษาของคอลัมน์

โจทย์: ตรวจจับภาษาของแต่ละสตริง และบันทึกภาษาที่มีความน่าจะเป็นสูงสุดลงในคอลัมน์ใหม่

from langdetect import detect_langs 
reviews = pd.read_csv('product_reviews.csv')

reviews.head()

5 แถวแรกของรีวิวสินค้าบน Amazon

สร้างฟีเจอร์สำหรับภาษา

languages = []

for row in range(len(reviews)):
    languages.append(detect_langs(reviews.iloc[row, 1]))

languages
[it:0.9999982541301151],
[es:0.9999954153640488],
[es:0.7142833997345875, en:0.2857160465706441],
[es:0.9999942365605781],
[es:0.999997956049055] ...

สร้างฟีเจอร์สำหรับภาษา

# Transform the first list to a string and split on a colon
str(languages[0]).split(':') 
['[es', '0.9999954153640488]']

str(languages[0]).split(':')[0]
'[es'

str(languages[0]).split(':')[0][1:]
'es'

สร้างฟีเจอร์สำหรับภาษา

languages = [str(lang).split(':')[0][1:] for lang in languages]

reviews['language'] = languages

มาฝึกกันเถอะ!

Sentiment Analysis ด้วย Python