단어 임베딩

R로 배우는 자연어 처리 입문

Kasey Jones

Research Data Scientist

단어 수의 한계

두 문장:

불용어 제거 후:

추가 데이터:

word2vec 표현에서는 유사한 단어가 다차원 벡터 공간에서 서로 더 가깝게 묶입니다.

¹ https://www.adityathakker.com/introduction-to-word2vec-how-it-works/

library(h2o)
h2o.init()

h2o_object = as.h2o(animal_farm)

h2o로 토크나이즈:

words <- h2o.tokenize(h2o_object$text_column, "\\\\W+")
words <- h2o.tolower(words)
words = words[is.na(words) || (!words %in% stop_words$word),]

word2vec_model <-
    h2o.word2vec(words, min_word_freq = 5, epochs = 5)

h2o.findSynonyms(w2v.model, "animal")

    synonym     score
1     drink 0.8209088
2       age 0.7952490
3   alcohol 0.7867004
4       act 0.7710537
5      hero 0.7658424

h2o.findSynonyms(w2v.model, "jones")

      synonym     score
1      battle 0.7996588
2  discovered 0.7944554
3     cowshed 0.7823287
4     enemies 0.7766532
5       yards 0.7679787

R로 배우는 자연어 처리 입문