n-gram modelleri oluşturma

Python ile NLP için Özellik Mühendisliği

Rounak Banik

Data Scientist

BoW eksikleri

inceleme	etiket
`'The movie was good and not boring'`	olumlu
`'The movie was not good and boring'`	olumsuz

n = 2, n-gramlar:

[
'for you',
'you a',
'a thousand',
'thousand times',
'times over'
]

'for you a thousand times over'

n = 3, n-gramlar:

[
'for you a',
'you a thousand',
'a thousand times',
'thousand times over'
]

Yalnızca bigram üretir.

bigrams = CountVectorizer(ngram_range=(2,2))

Unigram, bigram ve trigram üretir.

ngrams = CountVectorizer(ngram_range=(1,3))

Python ile NLP için Özellik Mühendisliği