Testes de legibilidade

Feature Engineering para NLP em Python

Rounak Banik

Data Scientist

Visão geral dos testes de legibilidade

  • Determinar a legibilidade de um trecho em inglês
  • Escala do ensino fundamental até nível de graduação
  • Fórmula matemática usando contagem de palavras, sílabas e frases
  • Usado para detectar fake news e spam de opinião
Feature Engineering para NLP em Python

Exemplos de testes de legibilidade

  • Facilidade de leitura de Flesch
  • Índice de neblina de Gunning (Gunning fog)
  • Simple Measure of Gobbledygook (SMOG)
  • Pontuação Dale-Chall
Feature Engineering para NLP em Python

Exemplos de testes de legibilidade

  • Facilidade de leitura de Flesch
  • Índice de neblina de Gunning (Gunning fog)
  • Simple Measure of Gobbledygook (SMOG)
  • Pontuação Dale-Chall
Feature Engineering para NLP em Python

Facilidade de leitura de Flesch

  • Um dos testes mais antigos e usados
  • Quanto maior o comprimento médio das frases, mais difícil é ler o texto
    • "This is a short sentence."
    • "This is longer sentence with more words and it is harder to follow than the first sentence."
  • Quanto mais sílabas em média por palavra, mais difícil é ler o texto
    • "I live in my home."
    • "I reside in my domicile."
  • Quanto maior a pontuação, maior a legibilidade
Feature Engineering para NLP em Python

Interpretação da pontuação de Flesch

Pontuação de legibilidade Série
90-100 5
80-90 6
70-80 7
60-70 8-9
50-60 10-12
30-50 Faculdade
0-30 Graduado/a em faculdade
Feature Engineering para NLP em Python

Índice de neblina de Gunning

  • Desenvolvido em 1954
  • Também depende do comprimento médio das frases
  • Quanto maior a porcentagem de palavras complexas, mais difícil é ler o texto
  • Quanto maior o índice, menor a legibilidade
Feature Engineering para NLP em Python

Interpretação do índice de Gunning

Índice de neblina Série
17 Graduado/a em faculdade
16 Último ano de faculdade
15 Penúltimo ano de faculdade
14 Segundo ano de faculdade
13 Primeiro ano de faculdade
12 Último ano do ensino médio
11 Penúltimo ano do ensino médio
Índice de neblina Série
10 Segundo ano do ensino médio
9 Primeiro ano do ensino médio
8 Oitava série
7 Sétima série
6 Sexta série
Feature Engineering para NLP em Python

A biblioteca readability

# Download nltk punkt module
import nltk
nltk.download('punkt_tab')

# Import the Readability class
from readability import Readability


# Create a Readability Object
readability_scores = Readability(text)


# Generate scores
gf = readability_scores.gunning_fog()
print(gf.score())

16.26
Feature Engineering para NLP em Python

Vamos praticar!

Feature Engineering para NLP em Python

Preparing Video For Download...