n-gram モデルの構築

Pythonで学ぶNLPの特徴量エンジニアリング

Rounak Banik

Data Scientist

BoW の短所

review	label
`'The movie was good and not boring'`	positive
`'The movie was not good and boring'`	negative

n = 2 の n-gram:

[
'for you',
'you a',
'a thousand',
'thousand times',
'times over'
]

'for you a thousand times over'

n = 3 の n-gram:

[
'for you a',
'you a thousand',
'a thousand times',
'thousand times over'
]

バイグラムのみを生成。

bigrams = CountVectorizer(ngram_range=(2,2))

ユニグラム、バイグラム、トライグラムを生成。

ngrams = CountVectorizer(ngram_range=(1,3))

Pythonで学ぶNLPの特徴量エンジニアリング