Test di leggibilità
Feature Engineering per NLP in Python
Rounak Banik
Data Scientist
Panoramica dei test di leggibilità
- Valuta la leggibilità di un brano in inglese
- Scala dalla scuola primaria fino alla laurea
- Formula matematica basata su conteggio di parole, sillabe e frasi
- Usata per rilevare fake news e opinion spam
Esempi di test di leggibilità
- Flesch reading ease
- Gunning fog index
- Simple Measure of Gobbledygook (SMOG)
- Punteggio Dale-Chall
Esempi di test di leggibilità
- Flesch reading ease
- Gunning fog index
- Simple Measure of Gobbledygook (SMOG)
- Punteggio Dale-Chall
Flesch reading ease
- Uno dei test più antichi e diffusi
- Più è lunga in media la frase, più è difficile leggere il testo
- "This is a short sentence."
- "This is longer sentence with more words and it is harder to follow than the first sentence."
- Più sillabe ha in media una parola, più è difficile leggere il testo
- "I live in my home."
- "I reside in my domicile."
- Più alto il punteggio, maggiore la leggibilità
Interpretazione del punteggio Flesch reading ease
| Punteggio di leggibilità | Classe scolastica |
|---|---|
| 90-100 | 5 |
| 80-90 | 6 |
| 70-80 | 7 |
| 60-70 | 8-9 |
| 50-60 | 10-12 |
| 30-50 | College |
| 0-30 | College Graduate |
Gunning fog index
- Sviluppato nel 1954
- Dipende anche dalla lunghezza media delle frasi
- Maggiore la percentuale di parole complesse, più il testo è difficile
- Più alto l'indice, minore la leggibilità
Interpretazione del Gunning fog index
| Fog index | Classe scolastica |
|---|---|
| 17 | Laureato/a |
| 16 | Ultimo anno di College |
| 15 | Terzo anno di College |
| 14 | Secondo anno di College |
| 13 | Primo anno di College |
| 12 | Ultimo anno di High School |
| 11 | Penultimo anno di High School |
| Fog index | Classe scolastica |
|---|---|
| 10 | Secondo anno di High School |
| 9 | Primo anno di High School |
| 8 | Ottava classe |
| 7 | Settima classe |
| 6 | Sesta classe |
La libreria readability
# Download nltk punkt module
import nltk
nltk.download('punkt_tab')
# Import the Readability class from readability import Readability# Create a Readability Object readability_scores = Readability(text)# Generate scores gf = readability_scores.gunning_fog() print(gf.score())
16.26
Esercitiamoci!
Feature Engineering per NLP in Python
