Тесты читабельности
Конструирование признаков для NLP на Python
Rounak Banik
Data Scientist
Обзор тестов читабельности
- Оценивают читабельность англоязычного текста
- Шкала от начальной школы до уровня выпускника вуза
- Математическая формула на основе слов, слогов и предложений
- Применяются для выявления фейков и спама мнений
Примеры тестов читабельности
- Индекс удобочитаемости Флеша
- Индекс туманности Ганнинга
- Simple Measure of Gobbledygook (SMOG)
- Оценка Дейла–Чалла
Примеры тестов читабельности
- Индекс удобочитаемости Флеша
- Индекс туманности Ганнинга
- Simple Measure of Gobbledygook (SMOG)
- Оценка Дейла–Чалла
Индекс удобочитаемости Флеша
- Один из старейших и наиболее широко используемых тестов
- Чем длиннее предложения в среднем, тем труднее читать текст
- «This is a short sentence.»
- «This is longer sentence with more words and it is harder to follow than the first sentence.»
- Чем больше слогов в среднем в слове, тем труднее читать текст
- «I live in my home.»
- «I reside in my domicile.»
- Чем выше оценка, тем выше читабельность
Интерпретация индекса удобочитаемости Флеша
| Оценка читабельности | Уровень |
|---|---|
| 90–100 | 5 |
| 80–90 | 6 |
| 70–80 | 7 |
| 60–70 | 8–9 |
| 50–60 | 10–12 |
| 30–50 | Колледж |
| 0–30 | Выпускник колледжа |
Индекс туманности Ганнинга
- Разработан в 1954 году
- Также зависит от средней длины предложения
- Чем выше доля сложных слов, тем труднее читать текст
- Чем выше индекс, тем ниже читабельность
Интерпретация индекса туманности Ганнинга
| Индекс туманности | Уровень |
|---|---|
| 17 | Выпускник колледжа |
| 16 | 4-й курс колледжа |
| 15 | 3-й курс колледжа |
| 14 | 2-й курс колледжа |
| 13 | 1-й курс колледжа |
| 12 | 11-й класс |
| 11 | 10-й класс |
| Индекс туманности | Уровень |
|---|---|
| 10 | 9-й класс |
| 9 | 8-й класс |
| 8 | 7-й класс |
| 7 | 6-й класс |
| 6 | 5-й класс |
Библиотека readability
# Download nltk punkt module
import nltk
nltk.download('punkt_tab')
# Import the Readability class from readability import Readability# Create a Readability Object readability_scores = Readability(text)# Generate scores gf = readability_scores.gunning_fog() print(gf.score())
16.26
Давайте потренируемся!
Конструирование признаков для NLP на Python
