Rilevare dati incoerenti

Pulizia dei dati nei database PostgreSQL

Darryl Reeves, Ph.D.

Industry Assistant Professor, New York University

Dati incoerenti

Alcune regole delle ispezioni ai ristoranti

score corrisponde al numero di violazioni 2_4_hazard

camis    |              name               |  score | ... 
---------+---------------------------------+--------+-----
...      | ...                             | ...    | ...                                   
41659848 | LA BRISA DEL CIBAO              | 20     | ...
40961447 | MESON SEVILLA RESTAURANT        | 50     | ...
50063071 | WA BAR                          | 15     | ...
...      | ...                             | ...    | ...

A (0–13), B (14–27), C (28+)
Scenari per i voti:
- A all’ispezione iniziale
- Re-ispezione con A, B o C

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

Verificare le regole con SQL

Dipendenze possono introdurre incoerenze
Le regole si possono codificare in SQL
A assegnata per punteggio 0–13

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'A' AND 
    score NOT BETWEEN 0 AND 13;

Verificare le regole con SQL

B assegnata per punteggio 14–27

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'B' AND 
    score NOT BETWEEN 14 AND 27;

 camis    | grade | grade_date | score |         inspection_type          
 ---------+-------+------------+-------+----------------------------------
 50034653 | B     | 12/06/2019 | -1    | Cycle Inspection / Re-inspection

Verificare le regole con SQL

SELECT 
    camis, grade, grade_date, score, inspection_type FROM 
    restaurant_inspection 
WHERE 
    (grade = 'A' OR grade = 'B' OR grade = 'C') AND
    inspection_type LIKE '%Reopening%';

 camis    | grade | grade_date | score |                 inspection_type                 | ... 
 ---------+-------+------------+-------+-------------------------------------------------+-----
 ...      | ...   | ...        | ...   | ...                                             | ...
 50005784 | C     | 05/29/2019 | 14    | Cycle Inspection / Reopening Inspection         | ...
 50091190 | C     | 07/12/2019 | 7     | Pre-permit (Operational) / Reopening Inspection | ...
 40395023 | C     | 09/13/2019 | 8     | Cycle Inspection / Reopening Inspection         | ...
 50037770 | C     | 10/26/2018 | 11    | Cycle Inspection / Reopening Inspection         | ...
 50036406 | C     | 07/10/2018 | 20    | Cycle Inspection / Reopening Inspection         | ...
 ...      | ...   | ...        | ...   | ...                                             | ...

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

Spunti per il data cleaning

Approcci diversi
Serve attenzione
La conoscenza del dominio è fondamentale
- Quali valori sono validi
- Motivi di duplicazione
- Valori di riempimento appropriati

Passiamo alla pratica !

Pulizia dei dati nei database PostgreSQL