Tìm hiểu corpus trong R

Nhập môn Xử lý Ngôn ngữ Tự nhiên với R

Kasey Jones

Data Scientist

Corpora

Tập hợp tài liệu chứa văn bản ngôn ngữ tự nhiên
Từ gói tm dưới dạng corpus
VCorpus – biểu diễn phổ biến nhất

¹ https://www.rdocumentation.org/packages/tm/versions/0.7-8/topics/Corpus

Nội dung VCorpus: siêu dữ liệu

library(tm)
data("acq")

acq[[1]]$meta

  author       : character(0)
  datetimestamp: 1987-02-26 15:18:06
  heading      : COMPUTER TERMINAL SYSTEMS <CPML> COMPLETES SALE
  id           : 10
  language     : en
  origin       : Reuters-21578 XML
  ...          : ...

¹ http://www.daviddlewis.com/resources/testcollections/reuters21578/

Nội dung VCorpus: siêu dữ liệu

library(tm)
data("acq")

acq[[1]]$meta$places

[1] "usa"

Nội dung VCorpus: nội dung

acq[[1]]$content

[1] "Computer Terminal Systems Inc said it has completed ...

acq[[2]]$content

[1] "Ohio Mattress Co said its first quarter, ending ...

Chuẩn hóa corpus

library(tm)
library(tidytext)
data("acq")

tidy_data <- tidy(acq)
tidy_data

# A tibble: 50 x 16
   author datetimestamp       description heading id    language origin
   <chr>  <dttm>              <chr>       <chr>   <chr> <chr>  <list>
 1 <NA>   1987-02-26 10:18:06 ""          COMPUT… 10    en       <chr …
...

Tạo corpus

corpus <- VCorpus(VectorSource(tidy_data$text))

Thêm siêu dữ liệu

meta(corpus, 'Author') <- tidy_data$author
meta(corpus, 'oldid') <- tidy_data$oldid
head(meta(corpus))

  Author oldid
1 <NA>  5553
2 <NA>  5555

Xem thử trong thực tế.

Nhập môn Xử lý Ngôn ngữ Tự nhiên với R