Détecter des données incohérentes

Nettoyer des données dans des bases de données PostgreSQL

Darryl Reeves, Ph.D.

Industry Assistant Professor, New York University

Données incohérentes

Certaines règles d'inspection des restaurants

score correspond au nombre d'infractions 2_4_hazard

camis    |              name               |  score | ... 
---------+---------------------------------+--------+-----
...      | ...                             | ...    | ...                                   
41659848 | LA BRISA DEL CIBAO              | 20     | ...
40961447 | MESON SEVILLA RESTAURANT        | 50     | ...
50063071 | WA BAR                          | 15     | ...
...      | ...                             | ...    | ...

A (0 à 13), B (14 à 27), C (28+)
Scénarios pour les cotes :
- A à l'inspection initiale
- Réinspection avec A, B ou C

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

Vérifier les règles avec SQL

Des dépendances peuvent créer des incohérences
Les règles peuvent être encodées en SQL
A attribué pour un score de 0 à 13

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'A' AND 
    score NOT BETWEEN 0 AND 13;

Vérifier les règles avec SQL

B attribué pour un score de 14 à 27

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'B' AND 
    score NOT BETWEEN 14 AND 27;

 camis    | grade | grade_date | score |         inspection_type          
 ---------+-------+------------+-------+----------------------------------
 50034653 | B     | 12/06/2019 | -1    | Cycle Inspection / Re-inspection

Vérifier les règles avec SQL

SELECT 
    camis, grade, grade_date, score, inspection_type FROM 
    restaurant_inspection 
WHERE 
    (grade = 'A' OR grade = 'B' OR grade = 'C') AND
    inspection_type LIKE '%Reopening%';

 camis    | grade | grade_date | score |                 inspection_type                 | ... 
 ---------+-------+------------+-------+-------------------------------------------------+-----
 ...      | ...   | ...        | ...   | ...                                             | ...
 50005784 | C     | 05/29/2019 | 14    | Cycle Inspection / Reopening Inspection         | ...
 50091190 | C     | 07/12/2019 | 7     | Pre-permit (Operational) / Reopening Inspection | ...
 40395023 | C     | 09/13/2019 | 8     | Cycle Inspection / Reopening Inspection         | ...
 50037770 | C     | 10/26/2018 | 11    | Cycle Inspection / Reopening Inspection         | ...
 50036406 | C     | 07/10/2018 | 20    | Cycle Inspection / Reopening Inspection         | ...
 ...      | ...   | ...        | ...   | ...                                             | ...

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

Perspectives sur le nettoyage des données

Diversité d'approches
Réflexion attentive requise
La connaissance du domaine est essentielle
- Quelles valeurs sont valides
- Raisons des doublons
- Valeurs de remplacement appropriées

Passons à la pratique !

Nettoyer des données dans des bases de données PostgreSQL