Очищення текстових даних

Очищення даних в R

Maggie Matsui

Content Developer @ DataCamp

Що таке текстові дані?

Тип даних	Приклади значень
Імена	`"Veronica Hopkins"`, `"Josiah"`, ...
Номери телефонів	`"6171679912"`, `"(868) 949-4489"`, ...
Електронні адреси	`"[email protected]"`, `"[email protected]"`, ...
Паролі	`"JZY46TVG8SM"`, `"iamjosiah21"`, ...
Коментарі/Відгуки	`"great service!"`, `"This product broke after 2 days"`, ...

Проблеми неструктурованих даних

Непослідовність форматування
- "6171679912" проти "(868) 949-4489"
- "9239 5849 3712 0039" проти "4490459957881031"
Непослідовність інформації
- +1 617-167-9912 проти 617-167-9912
- "Veronica Hopkins" проти "Josiah"
Недійсні дані
- Номер телефону "0492" надто короткий
- Поштовий індекс "19888" не існує

Дані про клієнтів

customers

# A tibble: 99 x 3
   name            company                     credit_card        
   <chr>           <chr>                       <chr>              
 1 Galena          In Magna Associates         5171 5854 8986 1916
 2 MacKenzie       Iaculis Ltd                 5128-5078-8008-5824
 3 Megan Acosta    Semper LLC                  5502 4529 0732 1744
 4 Phoebe Delacruz Sit Amet Nulla Limited      5419-7308-7424-0944
 5 Jessica         Pellentesque Sed Ltd        5419 2949 5508 9530
# ... with 95 more rows

Виявлення номерів карт із дефісами

str_detect(customers$credit_card, "-")

FALSE TRUE FALSE TRUE FALSE TRUE TRUE FALSE FALSE TRUE TRUE TRUE FALSE ...

customers %>%
  filter(str_detect(credit_card, "-"))

   name            company                  credit_card        
 1 MacKenzie       Iaculis Ltd              5128-5078-8008-5824
 2 Phoebe Delacruz Sit Amet Nulla Limited   5419-7308-7424-0944
 3 Abel            Lorem PC                 5211-6023-0805-0217 
 ...

Заміна дефісів

customers %>%

  mutate(credit_card_spaces = str_replace_all(credit_card, "-", " "))

   name            company                     credit_card_spaces        
 1 Galena          In Magna Associates         5171 5854 8986 1916
 2 MacKenzie       Iaculis Ltd                 5128 5078 8008 5824
 3 Megan Acosta    Semper LLC                  5502 4529 0732 1744
 4 Phoebe Delacruz Sit Amet Nulla Limited      5419 7308 7424 0944
 5 Jessica         Pellentesque Sed Ltd        5419 2949 5508 9530
 ...

Вилучення дефісів і пробілів

credit_card_clean <- customers$credit_card %>%

  str_remove_all("-") %>%
  str_remove_all(" ")

customers %>%
  mutate(credit_card = credit_card_clean)

   name            company                credit_card     
 1 Galena          In Magna Associates    5171585489861916
 2 MacKenzie       Iaculis Ltd            5128507880085824
 3 Megan Acosta    Semper LLC             5502452907321744
 ...

Пошук некоректних номерів карток

str_length(customers$credit_card)

16 16 16 16 16 16 16 16 16 16 16 16 12 16 16 16 16 16 16 16 16 16 16 16 16 ...

customers %>%
  filter(str_length(credit_card) != 16)

  name            company                   credit_card   
1 Jerry Russell   Sed Eu Company            516294099537
2 Ivor Christian  Ut Tincidunt Incorporated 544571330015
3 Francesca Drake Etiam Consulting          517394144089

Вилучення некоректних номерів карток

customers %>%
  filter(str_length(credit_card) == 16)

   name            company                     credit_card     
 1 Galena          In Magna Associates         5171585489861916
 2 MacKenzie       Iaculis Ltd                 5128507880085824
 3 Megan Acosta    Semper LLC                  5502452907321744
 4 Phoebe Delacruz Sit Amet Nulla Limited      5419730874240944
 5 Jessica         Pellentesque Sed Ltd        5419294955089530
...

Складніші текстові задачі

Регулярний вираз — це послідовність символів для гнучкого пошуку в рядку.
Деякі символи в регулярних виразах мають особливе значення:
- (, ), [, ], $, ., +, * та інші
Функції stringr використовують регулярні вирази
Щоб шукати ці символи буквально, застосовуйте fixed():
- str_detect(column, fixed("$"))

Дізнайтесь більше у String Manipulation with stringr in R і Intermediate Regular Expressions in R

Давайте потренуємось!

Очищення даних в R