교차 필드 검증

Python으로 데이터 정제하기

Adel Nehme

VP of AI Curriculum, DataCamp

동기

import pandas as pd

flights = pd.read_csv('flights.csv')
flights.head()

  flight_number  economy_class  business_class  first_class  total_passengers
0         DL140            100              60           40               200
1         BA248            130             100           70               300
2        MEA124            100              50           50               200
3        AFR939            140              70           90               300
4        TKA101            130             100           20               250

교차 필드 검증

데이터 무결성 점검을 위해 데이터셋의 여러 필드를 함께 사용하는 방법

  flight_number  economy_class  business_class  first_class  total_passengers
0         DL140            100       +      60      +    40        =      200
1         BA248            130       +     100      +    70        =      300
2        MEA124            100       +      50      +    50        =      200
3        AFR939            140       +      70      +    90        =      300
4        TKA101            130       +     100      +    20        =      250

sum_classes = flights[['economy_class', 'business_class', 'first_class']].sum(axis = 1)

passenger_equ = sum_classes == flights['total_passengers']

# 일치하지 않는 승객 합계를 찾고 필터링
inconsistent_pass = flights[~passenger_equ]
consistent_pass = flights[passenger_equ]

교차 필드 검증

users.head()

   user_id  Age   Birthday
0    32985   22 1998-03-02
1    94387   27 1993-12-04
2    34236   42 1978-11-24
3    12551   31 1989-01-03
4    55212   18 2002-07-02

교차 필드 검증

import pandas as pd
import datetime as dt

# datetime으로 변환하고 오늘 날짜 구하기
users['Birthday'] = pd.to_datetime(users['Birthday'])

today = dt.date.today()

# Birthday 각 행에 대해 연도 차이 계산
age_manual = today.year - users['Birthday'].dt.year

# 나이가 일치하는 경우 찾기
age_equ = age_manual == users['Age']

# 불일치 나이 행 찾고 필터링
inconsistent_age = users[~age_equ]
consistent_age = users[age_equ]

불일치를 찾았을 때 무엇을 할까요?

연습해 봅시다!

Python으로 데이터 정제하기