Tests de lisibilité
Feature Engineering pour le NLP en Python
Rounak Banik
Data Scientist
Aperçu des tests de lisibilité
- Évaluer la lisibilité d'un passage en anglais
- Échelle du primaire au niveau diplômé d'université
- Formule mathématique basée sur le nombre de mots, syllabes et phrases
- Utilisés pour détecter les fausses nouvelles et les avis trompeurs
Exemples de textes et lisibilité
- Flesch reading ease
- Indice de brouillard de Gunning (Gunning fog)
- Simple Measure of Gobbledygook (SMOG)
- Score de Dale-Chall
Exemples de tests de lisibilité
- Flesch reading ease
- Indice de brouillard de Gunning (Gunning fog)
- Simple Measure of Gobbledygook (SMOG)
- Score de Dale-Chall
Flesch reading ease
- L'un des tests les plus anciens et les plus utilisés
- Plus la phrase moyenne est longue, plus le texte est difficile à lire
- « This is a short sentence. »
- « This is longer sentence with more words and it is harder to follow than the first sentence. »
- Plus il y a de syllabes par mot en moyenne, plus la lecture est difficile
- « I live in my home. »
- « I reside in my domicile. »
- Plus le score est élevé, plus la lisibilité est grande
Interprétation du score Flesch reading ease
| Score de lisibilité | Niveau scolaire |
|---|---|
| 90-100 | 5 |
| 80-90 | 6 |
| 70-80 | 7 |
| 60-70 | 8-9 |
| 50-60 | 10-12 |
| 30-50 | Université |
| 0-30 | Diplômé d'université |
Indice de brouillard de Gunning
- Mis au point en 1954
- Dépend aussi de la longueur moyenne des phrases
- Plus le pourcentage de mots complexes est élevé, plus le texte est difficile
- Plus l'indice est élevé, moins la lisibilité est bonne
Interprétation de l'indice de Gunning
| Fog index | Niveau |
|---|---|
| 17 | Diplômé d'université |
| 16 | Dernière année d'université |
| 15 | Avant-dernière année d'université |
| 14 | Deuxième année d'université |
| 13 | Première année d'université |
| 12 | Terminale (lycée) |
| 11 | Première (lycée) |
| Fog index | Niveau |
|---|---|
| 10 | Seconde (lycée) |
| 9 | Troisième (collège) |
| 8 | Quatrième (collège) |
| 7 | Cinquième (collège) |
| 6 | Sixième (collège) |
La bibliothèque readability
# Download nltk punkt module
import nltk
nltk.download('punkt_tab')
# Import the Readability class from readability import Readability# Create a Readability Object readability_scores = Readability(text)# Generate scores gf = readability_scores.gunning_fog() print(gf.score())
16.26
Passons à la pratique !
Feature Engineering pour le NLP en Python
