Tests de lisibilité
Ingénierie des caractéristiques pour le NLP en Python
Rounak Banik
Data Scientist
Aperçu des tests de lisibilité
- Évaluer la lisibilité d'un passage en anglais
- Échelle de l'école primaire jusqu'au diplôme universitaire
- Formule mathématique basée sur le nombre de mots, de syllabes et de phrases
- Utilisé pour détecter les fausses nouvelles et le pourriel d'opinion
Exemples de textes selon la lisibilité
- Indice de facilité de lecture de Flesch
- Indice de brouillard de Gunning
- SMOG (Simple Measure of Gobbledygook)
- Score de Dale-Chall
Exemples de tests de lisibilité
- Indice de facilité de lecture de Flesch
- Indice de brouillard de Gunning
- SMOG (Simple Measure of Gobbledygook)
- Score de Dale-Chall
Indice de facilité de lecture de Flesch
- L'un des tests les plus anciens et utilisés
- Plus la phrase moyenne est longue, plus le texte est difficile à lire
- « This is a short sentence. »
- « This is longer sentence with more words and it is harder to follow than the first sentence. »
- Plus un mot compte de syllabes en moyenne, plus le texte est difficile à lire
- « I live in my home. »
- « I reside in my domicile. »
- Plus le score est élevé, plus la lisibilité est grande
Interprétation du score Flesch
| Score de facilité de lecture | Niveau scolaire |
|---|---|
| 90-100 | 5 |
| 80-90 | 6 |
| 70-80 | 7 |
| 60-70 | 8-9 |
| 50-60 | 10-12 |
| 30-50 | Collège |
| 0-30 | Diplôme universitaire |
Indice de brouillard de Gunning
- Conçu en 1954
- Dépend aussi de la longueur moyenne des phrases
- Plus le pourcentage de mots complexes est élevé, plus le texte est difficile
- Plus l'indice est élevé, moins la lisibilité est bonne
Interprétation de l'indice de brouillard de Gunning
| Indice de brouillard | Niveau scolaire |
|---|---|
| 17 | Diplômé universitaire |
| 16 | Dernière année d'université |
| 15 | Avant-dernière année d'université |
| 14 | Deuxième année d'université |
| 13 | Première année d'université |
| 12 | Dernière année du secondaire |
| 11 | Avant-dernière année du secondaire |
| Indice de brouillard | Niveau scolaire |
|---|---|
| 10 | Deuxième année du secondaire |
| 9 | Première année du secondaire |
| 8 | Huitième année |
| 7 | Septième année |
| 6 | Sixième année |
La bibliothèque readability
# Download nltk punkt module
import nltk
nltk.download('punkt_tab')
# Import the Readability class from readability import Readability# Create a Readability Object readability_scores = Readability(text)# Generate scores gf = readability_scores.gunning_fog() print(gf.score())
16.26
Passons à la pratique !
Ingénierie des caractéristiques pour le NLP en Python
