रीडेबिलिटी टेस्ट्स
Python में NLP के लिए Feature Engineering
Rounak Banik
Data Scientist
रीडेबिलिटी टेस्ट्स का ओवरव्यू
- किसी English पैसेज की रीडेबिलिटी मापें
- स्केल: प्राइमरी स्कूल से लेकर कॉलेज ग्रेजुएट स्तर तक
- शब्द, सिलेबल और वाक्य गिनती पर आधारित गणितीय फॉर्मूला
- फेक न्यूज़ और ओपिनियन स्पैम डिटेक्शन में उपयोग
रीडेबिलिटी टेक्स्ट के उदाहरण
- Flesch reading ease
- Gunning fog index
- Simple Measure of Gobbledygook (SMOG)
- Dale-Chall score
रीडेबिलिटी टेस्ट के उदाहरण
- Flesch reading ease
- Gunning fog index
- Simple Measure of Gobbledygook (SMOG)
- Dale-Chall score
Flesch reading ease
- सबसे पुराने और व्यापक रूप से उपयोग होने वाले टेस्ट्स में से एक
- औसत वाक्य लंबाई जितनी अधिक, टेक्स्ट पढ़ना उतना कठिन
- "This is a short sentence."
- "This is longer sentence with more words and it is harder to follow than the first sentence."
- किसी शब्द में औसत सिलेबल जितने अधिक, टेक्स्ट पढ़ना उतना कठिन
- "I live in my home."
- "I reside in my domicile."
- स्कोर जितना ज्यादा, रीडेबिलिटी उतनी अधिक
Flesch reading ease स्कोर की व्याख्या
| Reading ease score | Grade Level |
|---|---|
| 90-100 | 5 |
| 80-90 | 6 |
| 70-80 | 7 |
| 60-70 | 8-9 |
| 50-60 | 10-12 |
| 30-50 | College |
| 0-30 | College Graduate |
Gunning fog index
- 1954 में विकसित
- औसत वाक्य लंबाई पर भी निर्भर
- जटिल शब्दों का प्रतिशत जितना अधिक, टेक्स्ट पढ़ना उतना कठिन
- इंडेक्स जितना ऊँचा, रीडेबिलिटी उतनी कम
Gunning fog index की व्याख्या
| Fog index | Grade level |
|---|---|
| 17 | College graduate |
| 16 | College senior |
| 15 | College junior |
| 14 | College sophomore |
| 13 | College freshman |
| 12 | High school senior |
| 11 | High school junior |
| Fog index | Grade level |
|---|---|
| 10 | High school sophomore |
| 9 | High school freshman |
| 8 | Eighth grade |
| 7 | Seventh grade |
| 6 | Sixth grade |
readability लाइब्रेरी
# Download nltk punkt module
import nltk
nltk.download('punkt_tab')
# Import the Readability class from readability import Readability# Create a Readability Object readability_scores = Readability(text)# Generate scores gf = readability_scores.gunning_fog() print(gf.score())
16.26
अभ्यास करते हैं!
Python में NLP के लिए Feature Engineering
