Teste de lizibilitate

Ingineria caracteristicilor pentru NLP în Python

Rounak Banik

Data Scientist

Prezentare generală a testelor de lizibilitate

  • Determină lizibilitatea unui text în engleză
  • Scară de la nivel primar până la absolvent de facultate
  • Formulă matematică bazată pe cuvinte, silabe și propoziții
  • Utilizat în detectarea știrilor false și a recenziilor spam
Ingineria caracteristicilor pentru NLP în Python

Exemple de teste de lizibilitate

  • Flesch reading ease
  • Indicele Gunning Fog
  • Simple Measure of Gobbledygook (SMOG)
  • Scorul Dale-Chall
Ingineria caracteristicilor pentru NLP în Python

Exemple de teste de lizibilitate

  • Flesch reading ease
  • Indicele Gunning Fog
  • Simple Measure of Gobbledygook (SMOG)
  • Scorul Dale-Chall
Ingineria caracteristicilor pentru NLP în Python

Flesch reading ease

  • Unul dintre cele mai vechi și mai utilizate teste
  • Cu cât propoziția medie este mai lungă, cu atât textul este mai greu de citit
    • "This is a short sentence."
    • "This is longer sentence with more words and it is harder to follow than the first sentence."
  • Cu cât numărul mediu de silabe pe cuvânt este mai mare, cu atât textul este mai greu de citit
    • "I live in my home."
    • "I reside in my domicile."
  • Cu cât scorul este mai mare, cu atât lizibilitatea este mai ridicată
Ingineria caracteristicilor pentru NLP în Python

Interpretarea scorului Flesch reading ease

Scor de lizibilitate Nivel școlar
90-100 5
80-90 6
70-80 7
60-70 8-9
50-60 10-12
30-50 Facultate
0-30 Absolvent de facultate
Ingineria caracteristicilor pentru NLP în Python

Indicele Gunning Fog

  • Dezvoltat în 1954
  • Dependent și de lungimea medie a propoziției
  • Cu cât procentul de cuvinte complexe este mai mare, cu atât textul este mai greu de citit
  • Cu cât indexul este mai mare, cu atât lizibilitatea este mai scăzută
Ingineria caracteristicilor pentru NLP în Python

Interpretarea indicelui Gunning Fog

Indice Fog Nivel de studii
17 Absolvent de facultate
16 Anul IV facultate
15 Anul III facultate
14 Anul II facultate
13 Anul I facultate
12 Clasa a XII-a
11 Clasa a XI-a
Indice Fog Nivel de studii
10 Clasa a X-a
9 Clasa a IX-a
8 Clasa a VIII-a
7 Clasa a VII-a
6 Clasa a VI-a
Ingineria caracteristicilor pentru NLP în Python

Biblioteca readability

# Download nltk punkt module
import nltk
nltk.download('punkt_tab')

# Import the Readability class
from readability import Readability


# Create a Readability Object
readability_scores = Readability(text)


# Generate scores
gf = readability_scores.gunning_fog()
print(gf.score())

16.26
Ingineria caracteristicilor pentru NLP în Python

Să exersăm!

Ingineria caracteristicilor pentru NLP în Python

Preparing Video For Download...