Detectando dados inconsistentes

Limpeza de dados em bancos de dados PostgreSQL

Darryl Reeves, Ph.D.

Industry Assistant Professor, New York University

Dados inconsistentes

Certas regras de inspeção de restaurantes

score corresponde ao número de infrações 2_4_hazard

camis    |              name               |  score | ... 
---------+---------------------------------+--------+-----
...      | ...                             | ...    | ...                                   
41659848 | LA BRISA DEL CIBAO              | 20     | ...
40961447 | MESON SEVILLA RESTAURANT        | 50     | ...
50063071 | WA BAR                          | 15     | ...
...      | ...                             | ...    | ...

A (0 a 13), B (14 a 27), C (28+)
Cenários para notas:
- A na inspeção inicial
- Nova inspeção com A, B ou C

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

Verificando regras com SQL

Interdependências podem gerar inconsistência
Regras podem ser codificadas em SQL
A é dada para score de 0 a 13

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'A' AND 
    score NOT BETWEEN 0 AND 13;

Verificando regras com SQL

B é dada para score de 14 a 27

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'B' AND 
    score NOT BETWEEN 14 AND 27;

 camis    | grade | grade_date | score |         inspection_type          
 ---------+-------+------------+-------+----------------------------------
 50034653 | B     | 12/06/2019 | -1    | Cycle Inspection / Re-inspection

Verificando regras com SQL

SELECT 
    camis, grade, grade_date, score, inspection_type FROM 
    restaurant_inspection 
WHERE 
    (grade = 'A' OR grade = 'B' OR grade = 'C') AND
    inspection_type LIKE '%Reopening%';

 camis    | grade | grade_date | score |                 inspection_type                 | ... 
 ---------+-------+------------+-------+-------------------------------------------------+-----
 ...      | ...   | ...        | ...   | ...                                             | ...
 50005784 | C     | 05/29/2019 | 14    | Cycle Inspection / Reopening Inspection         | ...
 50091190 | C     | 07/12/2019 | 7     | Pre-permit (Operational) / Reopening Inspection | ...
 40395023 | C     | 09/13/2019 | 8     | Cycle Inspection / Reopening Inspection         | ...
 50037770 | C     | 10/26/2018 | 11    | Cycle Inspection / Reopening Inspection         | ...
 50036406 | C     | 07/10/2018 | 20    | Cycle Inspection / Reopening Inspection         | ...
 ...      | ...   | ...        | ...   | ...                                             | ...

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

Insights de limpeza de dados

Diversidade de abordagens
Exige reflexão cuidadosa
Conhecimento do domínio é essencial
- Quais valores são válidos
- Motivos para duplicação
- Valores de preenchimento adequados

Vamos praticar!

Limpeza de dados em bancos de dados PostgreSQL