असंगत डेटा का पता लगाना

PostgreSQL डेटाबेस में डेटा क्लीनिंग

Darryl Reeves, Ph.D.

Industry Assistant Professor, New York University

असंगत डेटा

कुछ रेस्टोरेंट निरीक्षण नियम

score उल्लंघनों की संख्या दर्शाता है 2_4_hazard

camis    |              name               |  score | ... 
---------+---------------------------------+--------+-----
...      | ...                             | ...    | ...                                   
41659848 | LA BRISA DEL CIBAO              | 20     | ...
40961447 | MESON SEVILLA RESTAURANT        | 50     | ...
50063071 | WA BAR                          | 15     | ...
...      | ...                             | ...    | ...

A (0 से 13), B (14 से 27), C (28+)
ग्रेड के संभावित परिदृश्य:
- शुरुआती निरीक्षण पर A
- री-इंस्पेक्शन पर A, B, या C

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

SQL से नियम जाँचें

परस्पर-निर्भर नियम असंगति ला सकते हैं
नियम SQL में एन्कोड किए जा सकते हैं
0 से 13 के स्कोर पर A दिया जाता है

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'A' AND 
    score NOT BETWEEN 0 AND 13;

SQL से नियम जाँचें

14 से 27 के स्कोर पर B दिया जाता है

SELECT 
    camis, 
    grade, 
    grade_date, 
    score, 
    inspection_type 
FROM 
    restaurant_inspection 
WHERE 
    grade = 'B' AND 
    score NOT BETWEEN 14 AND 27;

 camis    | grade | grade_date | score |         inspection_type          
 ---------+-------+------------+-------+----------------------------------
 50034653 | B     | 12/06/2019 | -1    | Cycle Inspection / Re-inspection

SQL से नियम जाँचें

SELECT 
    camis, grade, grade_date, score, inspection_type FROM 
    restaurant_inspection 
WHERE 
    (grade = 'A' OR grade = 'B' OR grade = 'C') AND
    inspection_type LIKE '%Reopening%';

 camis    | grade | grade_date | score |                 inspection_type                 | ... 
 ---------+-------+------------+-------+-------------------------------------------------+-----
 ...      | ...   | ...        | ...   | ...                                             | ...
 50005784 | C     | 05/29/2019 | 14    | Cycle Inspection / Reopening Inspection         | ...
 50091190 | C     | 07/12/2019 | 7     | Pre-permit (Operational) / Reopening Inspection | ...
 40395023 | C     | 09/13/2019 | 8     | Cycle Inspection / Reopening Inspection         | ...
 50037770 | C     | 10/26/2018 | 11    | Cycle Inspection / Reopening Inspection         | ...
 50036406 | C     | 07/10/2018 | 20    | Cycle Inspection / Reopening Inspection         | ...
 ...      | ...   | ...        | ...   | ...                                             | ...

¹ https://www1.nyc.gov/assets/doh/downloads/pdf/rii/restaurant-grading-faq.pdf

डेटा क्लीनिंग इनसाइट्स

तरीकों की विविधता
सोची-समझी रणनीति जरूरी
डोमेन ज्ञान अहम है
- कौन-से मान वैध हैं
- डुप्लिकेशन के कारण
- उपयुक्त भराव मान

अभ्यास करते हैं!

PostgreSQL डेटाबेस में डेटा क्लीनिंग