Разбивка данных столбца

Очистка данных в базах данных PostgreSQL

Darryl Reeves, Ph.D.

Industry Assistant Professor, New York University

Разбивка столбцов

 camis    | inspection_date |                    violation                    | ... 
 ---------+-----------------+-------------------------------------------------+-----
 ...      | ...             | ...                                             | ...
 50038736 | 03/29/2018      | 09B Thawing procedures                          | ...
 50033304 | 12/18/2019      | 02B Hot food item not held at or above 140º ... | ...
 50081658 | 12/13/2018      | 06F Wiping cloths soiled or not stored in sa... | ...
 50033733 | 02/12/2019      | 10B Plumbing not properly installed or maint... | ...
 40559634 | 08/22/2017      | 04N Filth flies or food/refuse/sewage-associ... | ...
 ...      | ...             | ...                                             | ...
Очистка данных в базах данных PostgreSQL

Поиск позиции подстроки с помощью STRPOS()

STRPOS(source_string, search_string)

Диаграмма строки нарушения «09B Thawing procedures». Под строкой указаны номера позиций: 1 — у символа «0», 4 — у первого пробела, 22 — у последнего символа «s».

SELECT
  STRPOS('09B Thawing procedures', ' ');

4
Очистка данных в базах данных PostgreSQL

Поиск позиции подстроки с помощью STRPOS()

Диаграмма строки нарушения «09B Thawing procedures». Под строкой указаны номера позиций: 1 — у символа «0», 4 — у первого пробела, 22 — у последнего символа «s».

SELECT
  STRPOS('09B Thawing procedures', '?');

0
Очистка данных в базах данных PostgreSQL

Поиск позиции подстроки с помощью STRPOS()

Диаграмма строки нарушения «09B Thawing procedures». Под строкой указаны номера позиций: 1 — у символа «0», 4 — у первого пробела, 22 — у последнего символа «s».

SELECT
  STRPOS('09B Thawing procedures', ' ');

4
Очистка данных в базах данных PostgreSQL

Извлечение подстроки с помощью SUBSTRING()

SUBSTRING(source_string FROM start_pos FOR num_chars)

Очистка данных в базах данных PostgreSQL

Извлечение подстроки с помощью SUBSTRING()

SUBSTRING('Homerun' FROM 1 FOR 4) → Home

Диаграмма строки нарушения «09B Thawing procedures». Под строкой указаны номера позиций: 1 — у символа «0», 4 — у первого пробела, 22 — у последнего символа «s».

SELECT
  SUBSTRING(
      '09B Thawing procedures'
      FROM 1
      FOR STRPOS('09B Thawing procedures', ' ') - 1
  );

09B
Очистка данных в базах данных PostgreSQL

Извлечение подстроки с помощью SUBSTRING()

Диаграмма строки нарушения «09B Thawing procedures». Под строкой указаны номера позиций: 1 — у символа «0», 4 — у первого пробела, 22 — у последнего символа «s». Синие стрелки указывают на часть строки, содержащую описание нарушения.

Требования:

  • Начальная позиция описания нарушения
  • Количество символов в описании
SELECT
  STRPOS('09B Thawing procedures', ' ') + 1;

5
Очистка данных в базах данных PostgreSQL

Вычисление длины строки с помощью LENGTH()

Диаграмма строки нарушения «09B Thawing procedures». Под строкой указаны номера позиций: 1 — у символа «0», 4 — у первого пробела, 22 — у последнего символа «s». Над частью строки с описанием нарушения указано «количество символов?».

LENGTH(string) → INTEGER

SELECT LENGTH('hello')

5
Очистка данных в базах данных PostgreSQL

Вычисление длины строки с помощью LENGTH()

LENGTH('09B Thawing procedures') → 22

STRPOS('09B Thawing procedures', ' ') → 4

LENGTH('09B Thawing procedures') - STRPOS('09B Thawing procedures', ' ') → 18

LENGTH('Thawing procedures') → 18

Очистка данных в базах данных PostgreSQL

Вычисление длины строки с помощью LENGTH()

SELECT 
    LENGTH('09B Thawing procedures') - 
    STRPOS('09B Thawing procedures', ' ');

18

Диаграмма строки нарушения «09B Thawing procedures». Под строкой указаны номера позиций: 1 — у символа «0», 4 — у первого пробела, 22 — у последнего символа «s». Синие стрелки указывают на часть строки, содержащую описание нарушения.

Очистка данных в базах данных PostgreSQL

Собираем всё вместе

SELECT 
    SUBSTRING(
      '09B Thawing procedures'
      FROM
        STRPOS('09B Thawing procedures', ' ')
        + 1
      FOR
        LENGTH('09B Thawing procedures')
        - STRPOS('09B Thawing procedures', ' ')
    );

Thawing procedures
Очистка данных в базах данных PostgreSQL

Разбивка столбца violation

SELECT 
    camis, 
    inspection_date, 

    SUBSTRING(
      violation 
      FROM 1 
      FOR STRPOS(violation, ' ') - 1
    ) AS violation_code, 

    SUBSTRING(
      violation 
      FROM STRPOS(violation, ' ') + 1 
      FOR LENGTH(violation) - STRPOS(violation, ' ')
    ) AS violation_description 
FROM 
    restaurant_inspection;
Очистка данных в базах данных PostgreSQL

Разбивка столбца violation

 camis    | inspection_date |                    violation                    | ... 
 ---------+-----------------+-------------------------------------------------+-----
 ...      | ...             | ...                                             | ...
 50038736 | 03/29/2018      | 09B Thawing procedures                          | ...
 50033304 | 12/18/2019      | 02B Hot food item not held at or above 140º ... | ...
 50081658 | 12/13/2018      | 06F Wiping cloths soiled or not stored in sa... | ...
 50033733 | 02/12/2019      | 10B Plumbing not properly installed or maint... | ...
 40559634 | 08/22/2017      | 04N Filth flies or food/refuse/sewage-associ... | ...
 ...      | ...             | ...                                             | ...
Очистка данных в базах данных PostgreSQL

Разбивка столбца violation

 camis    | inspection_date | violation_code |            violation_description            | ... 
 ---------+-----------------+----------------+---------------------------------------------+-----
 ...      | ...             | ...            | ...                                         | ...
 50038736 | 03/29/2018      | 09B            | Thawing procedures                          | ...
 50033304 | 12/18/2019      | 02B            | Hot food item not held at or above 140º ... | ...
 50081658 | 12/13/2018      | 06F            | Wiping cloths soiled or not stored in sa... | ...
 50033733 | 02/12/2019      | 10B            | Plumbing not properly installed or maint... | ...
 40559634 | 08/22/2017      | 04N            | Filth flies or food/refuse/sewage-associ... | ...
 ...      | ...             | ...            | ...                                         | ...
Очистка данных в базах данных PostgreSQL

Давайте потренируемся!

Очистка данных в базах данных PostgreSQL

Preparing Video For Download...