Các kiểm tra độ dễ đọc
Khai thác đặc trưng cho NLP bằng Python
Rounak Banik
Data Scientist
Tổng quan các kiểm tra độ dễ đọc
- Xác định độ dễ đọc của một đoạn tiếng Anh
- Thang đo từ tiểu học đến tốt nghiệp đại học
- Công thức tính dựa trên số từ, âm tiết, câu
- Dùng trong phát hiện tin giả và thư rác ý kiến
Ví dụ kiểm tra độ dễ đọc
- Flesch reading ease
- Chỉ số Gunning fog
- Simple Measure of Gobbledygook (SMOG)
- Điểm Dale–Chall
Ví dụ bài kiểm tra độ dễ đọc
- Flesch reading ease
- Chỉ số Gunning fog
- Simple Measure of Gobbledygook (SMOG)
- Điểm Dale–Chall
Flesch reading ease
- Một trong những bài kiểm tra lâu đời và phổ biến nhất
- Câu trung bình càng dài, càng khó đọc
- "This is a short sentence."
- "This is longer sentence with more words and it is harder to follow than the first sentence."
- Số âm tiết trung bình mỗi từ càng cao, càng khó đọc
- "I live in my home."
- "I reside in my domicile."
- Điểm càng cao, càng dễ đọc
Diễn giải điểm Flesch reading ease
| Điểm dễ đọc | Trình độ lớp |
|---|---|
| 90-100 | 5 |
| 80-90 | 6 |
| 70-80 | 7 |
| 60-70 | 8-9 |
| 50-60 | 10-12 |
| 30-50 | Đại học |
| 0-30 | Tốt nghiệp đại học |
Chỉ số Gunning fog
- Phát triển năm 1954
- Cũng phụ thuộc vào độ dài câu trung bình
- Tỷ lệ từ phức càng cao, văn bản càng khó đọc
- Chỉ số càng cao, độ dễ đọc càng thấp
Diễn giải chỉ số Gunning fog
| Chỉ số Fog | Trình độ lớp |
|---|---|
| 17 | Tốt nghiệp đại học |
| 16 | Năm tư đại học |
| 15 | Năm ba đại học |
| 14 | Năm hai đại học |
| 13 | Năm nhất đại học |
| 12 | Lớp 12 |
| 11 | Lớp 11 |
| Chỉ số Fog | Trình độ lớp |
|---|---|
| 10 | Lớp 10 |
| 9 | Lớp 9 |
| 8 | Lớp 8 |
| 7 | Lớp 7 |
| 6 | Lớp 6 |
Thư viện readability
# Download nltk punkt module
import nltk
nltk.download('punkt_tab')
# Import the Readability class from readability import Readability# Create a Readability Object readability_scores = Readability(text)# Generate scores gf = readability_scores.gunning_fog() print(gf.score())
16.26
Ayo berlatih!
Khai thác đặc trưng cho NLP bằng Python
