Läsbarhetstester

Funktionsutveckling för NLP i Python

Rounak Banik

Data Scientist

Översikt av läsbarhetstester

Mäter läsbarheten i en engelsk text
Skala från lågstadienivå upp till högskolenivå
En matematisk formel baserad på ord, stavelser och meningslängd
Används för att detektera falska nyheter och opinionsspam

Exempel på läsbarhetstester

Flesch reading ease
Gunning fog index
Simple Measure of Gobbledygook (SMOG)
Dale-Chall score

Exempel på läsbarhetstester

Flesch reading ease
Gunning fog index
Simple Measure of Gobbledygook (SMOG)
Dale-Chall score

Flesch reading ease

Ett av de äldsta och mest använda testerna
Ju längre meningar i genomsnitt, desto svårare att läsa
- "This is a short sentence."
- "This is longer sentence with more words and it is harder to follow than the first sentence."
Ju fler stavelser per ord i genomsnitt, desto svårare att läsa
- "I live in my home."
- "I reside in my domicile."
Högt poäng innebär hög läsbarhet

Tolkning av Flesch reading ease

Läsbarhetspoäng	Nivå
90-100	5
80-90	6
70-80	7
60-70	8-9
50-60	10-12
30-50	Högskola
0-30	Högskoleutbildad

Gunning fog index

Utvecklades 1954
Beror även på genomsnittlig meningslängd
Ju fler komplexa ord, desto svårare att läsa
Högt index innebär låg läsbarhet

Tolkning av Gunning fog index

Fog index	Nivå
17	Högskoleutbildad
16	Sista året på högskolan
15	Tredje året på högskolan
14	Andra året på högskolan
13	Första året på högskolan
12	Sista året på gymnasiet
11	Tredje året på gymnasiet

Fog index	Nivå
10	Andra året på gymnasiet
9	Första året på gymnasiet
8	Årskurs 8
7	Årskurs 7
6	Årskurs 6

Biblioteket readability

# Download nltk punkt module
import nltk
nltk.download('punkt_tab')

# Import the Readability class
from readability import Readability


# Create a Readability Object
readability_scores = Readability(text)


# Generate scores
gf = readability_scores.gunning_fog()
print(gf.score())

16.26

Nu kör vi en övning!

Funktionsutveckling för NLP i Python