Porovnávání vzorů

Cleaning Data in PostgreSQL Databases

Darryl Reeves, Ph.D.

Industry Assistant Professor, New York University

Identifikace vzorů: příklad

 camis    |              name               | inspection_date | score | nta  | ... 
 ---------+---------------------------------+-----------------+-------+------+-----
 ...      | ...                             | ...             | ...   | ...  | ...
 41659848 | LA BRISA DEL CIBAO              | 01/30/2018      | 20    | QN26 | ...
 40961447 | MESON SEVILLA RESTAURANT        | 03/19/2019      | 50    | MN15 | ...
 50063071 | WA BAR                          | 05/23/2018      | 15    | MN17 | ...
 50034992 | EMPANADAS MONUMENTAL            | 06/21/2019      | 17    | MN35 | ...
 50095871 | ALPHONSO'S PIZZERIA & TRATTORIA | 01/16/2020      | 10    | MN28 | ...
 41104041 | THE SPARROW TAVERN              | 09/17/2019      | 13    | QN72 | ...
 50016937 | BURGER KING                     | 09/14/2018      | 12    | QN55 | ...
 50066469 | DARBAR'S CHICKEN & RIBS         | 08/07/2017      | 11    | QN55 | ...
 41195691 | F & J PINE RESTAURANT           | 05/02/2019      | 26    | BX49 | ...
 50015706 | EL RINCONCITO DE LOS SABORES    | 12/18/2019      | 20    | QN35 | ...
 ...      | ...                             | ...             | ..    | ...  | ...

¹ https://www1.nyc.gov/site/planning/data-maps/open-data/dwn-nynta.page

Identifikace vzorů: příklad

Platné prefixy kódu NTA

MN – Manhattan
BK – Brooklyn
BX – Bronx
QN – Queens
SI – Staten Island

Identifikace vzorů: příklad

Výsledky tabulky s červeným rámečkem zvýrazňujícím neplatný kód NTA

Operátor LIKE

SELECT * FROM restaurant_inspection WHERE nta LIKE 'QN544';

SELECT * FROM restaurant_inspection WHERE nta = 'QN544';

Operátor LIKE

Znaky pro porovnávání vzorů

% – odpovídá libovolné posloupnosti nula nebo více znaků
_ (podtržítko) – odpovídá jednomu znaku

SELECT 
* 
FROM 
restaurant_inspection 
WHERE nta LIKE 'QN%';

SELECT 
* 
FROM 
restaurant_inspection 
WHERE nta LIKE 'QN%' 
AND nta NOT LIKE 'QN__';

Regulární výrazy (RV)

Porovnávání vzorů pomocí LIKE je omezené
Specifičtější vzory mohou být užitečné
Regulární výrazy (RV) umožňují výraznější porovnávání vzorů

Operátor SIMILAR TO

Poskytuje rozšířenou funkci porovnávání vzorů

SELECT 
  camis, name, inspection_date, score, nta 
FROM 
  restaurant_inspection 
WHERE nta SIMILAR TO 'QN%' AND nta NOT SIMILAR TO 'QN__';

Základy regulárních výrazů

Metaznak	Použití	Příklad RV	Příklad shody
`\d`	odpovídá číslici (0–9)	`\d\d\d`	'345'
`?`	odpovídá 0 nebo 1 výskytu předchozího znaku	`x\d?`	'x5'
`+`	odpovídá jednomu nebo více výskytům předchozího znaku	`\d+`	'10'
`*`	odpovídá libovolnému znaku 0 nebo vícekrát	`\d*`	'3081'
`[]`	odpovídá libovolnému znaku uvnitř závorek	`[a-z]`	'f'

Použití RV s operátorem SIMILAR TO

SELECT 
    camis, name, inspection_date, score, nta 
FROM 
    restaurant_inspection 
WHERE nta SIMILAR TO 'QN%' AND nta NOT SIMILAR TO 'QN__';

SELECT 
    camis, name, inspection_date, score, nta 
FROM 
    restaurant_inspection 
WHERE 
    nta NOT SIMILAR TO '[A-Z][A-Z]\d\d';

 camis    |        name        | inspection_date | score | nta  
 ---------+--------------------+-----------------+-------+------
 41659848 | LA BRISA DEL CIBAO | 01/30/2018      | 20    | Q26
 41104041 | THE SPARROW TAVERN | 09/17/2019      | 13    | QN723

Lass uns üben!

Cleaning Data in PostgreSQL Databases