Tách từ và làm sạch

Nhập môn Phân tích Văn bản bằng R

Maham Faisal Khan

Senior Data Science Content Developer

Dùng tidytext

Tách văn bản

Một số thuật ngữ xử lý ngôn ngữ tự nhiên (NLP):

Bag of words: giả định các từ trong tài liệu là độc lập
Mỗi khối văn bản riêng là một tài liệu
Mỗi từ duy nhất là một thuật ngữ
Mỗi lần xuất hiện của thuật ngữ là một token
Tạo bag of words gọi là tokenizing

Dùng unnest_tokens()

tidy_review <- review_data %>% 
  unnest_tokens(word, review)

tidy_review

# A tibble: 229,481 x 4
   date    product                    stars word   
   <chr>   <chr>                      <dbl> <chr>  
 1 2/28/15 iRobot Roomba 650 for Pets     5 you    
 2 2/28/15 iRobot Roomba 650 for Pets     5 would  
 3 2/28/15 iRobot Roomba 650 for Pets     5 not    
# … with 229,478 more rows

Đếm từ

tidy_review %>% 
  count(word) %>% 
  arrange(desc(n))

# A tibble: 10,310 x 2
   word      n
   <chr> <int>
 1 the   11785
 2 it     7905
 3 and    6794
# … with 10,307 more rows

Dùng anti_join()

Ta muốn loại bỏ stop words khỏi data frame đã làm gọn
Sẽ dùng joins để làm điều này

Dùng anti_join()

tidy_review2 <- review_data %>% 
  unnest_tokens(word, review) %>% 
  anti_join(stop_words)

tidy_review2

# A tibble: 78,868 x 4
   date     product                    stars word       
   <chr>    <chr>                      <dbl> <chr>      
 1 1/12/15  iRobot Roomba 650 for Pets     4 walk       
 2 1/12/15  iRobot Roomba 650 for Pets     4 rest       
# … with 78,866 more rows

Đếm từ lần nữa

tidy_review2 %>% 
  count(word) %>% 
  arrange(desc(n))

# A tibble: 9,672 x 2
   word         n
   <chr>    <int>
 1 roomba    2286
 2 clean     1204
 3 vacuum     989
# … with 9,669 more rows

Ayo berlatih!

Nhập môn Phân tích Văn bản bằng R