고유성 제약 조건

Python으로 데이터 정제하기

Adel Nehme

VP of AI Curriculum, DataCamp

중복값이란?

모든 열의 값이 동일함

first_name last_name address height weight
Justin Saddlemyer Boulevard du Jardin Botanique 3, Bruxelles 193 cm 87 kg
Justin Saddlemyer Boulevard du Jardin Botanique 3, Bruxelles 193 cm 87 kg
Python으로 데이터 정제하기

중복값이란?

대부분의 열 값이 동일함

first_name last_name address height weight
Justin Saddlemyer Boulevard du Jardin Botanique 3, Bruxelles 193 cm 87 kg
Justin Saddlemyer Boulevard du Jardin Botanique 3, Bruxelles 194 cm 87 kg
Python으로 데이터 정제하기

왜 발생하나요?

duplicate_1

Python으로 데이터 정제하기

왜 발생하나요?

duplicate_2

Python으로 데이터 정제하기

왜 발생하나요?

duplicate_3

Python으로 데이터 정제하기

중복값은 어떻게 찾나요?

# Print the header
height_weight.head()

  first_name last_name                       address  height  weight
0       Lane     Reese              534-1559 Nam St.     181      64
1       Ivor    Pierce             102-3364 Non Road     168      66
2      Roary    Gibson   P.O. Box 344, 7785 Nisi Ave     191      99
3    Shannon    Little  691-2550 Consectetuer Street     185      65
4      Abdul       Fry                4565 Risus St.     169      65
Python으로 데이터 정제하기

중복값은 어떻게 찾나요?

# Get duplicates across all columns
duplicates = height_weight.duplicated()
print(duplicates)

1       False
...     ....
22      True
23      False
...     ...
Python으로 데이터 정제하기

중복값은 어떻게 찾나요?

# Get duplicate rows
duplicates = height_weight.duplicated()
height_weight[duplicates]

    first_name last_name                               address  height  weight
100       Mary     Colon                           4674 Ut Rd.     179      75
101       Ivor    Pierce                     102-3364 Non Road     168      88
102       Cole    Palmer                       8366 At, Street     178      91
103    Desirae   Shannon  P.O. Box 643, 5251 Consectetuer, Rd.     196      83
Python으로 데이터 정제하기

중복 행은 어떻게 찾나요?

.duplicated() 메서드

subset: 중복을 확인할 열 이름 목록.

keep: 중복에서 어느 값을 유지할지 선택: 첫 번째('first'), 마지막('last'), 모두(False).

# 중복을 확인할 열 이름
column_names = ['first_name','last_name','address']
duplicates = height_weight.duplicated(subset = column_names, keep = False)
Python으로 데이터 정제하기

중복 행은 어떻게 찾나요?

# Output duplicate values
height_weight[duplicates]

    first_name last_name                               address  height  weight
1         Ivor    Pierce                     102-3364 Non Road     168      66
22        Cole    Palmer                       8366 At, Street     178      91
28     Desirae   Shannon  P.O. Box 643, 5251 Consectetuer, Rd.     195      83
37        Mary     Colon                           4674 Ut Rd.     179      75
100       Mary     Colon                           4674 Ut Rd.     179      75
101       Ivor    Pierce                     102-3364 Non Road     168      88
102       Cole    Palmer                       8366 At, Street     178      91
103    Desirae   Shannon  P.O. Box 643, 5251 Consectetuer, Rd.     196      83
Python으로 데이터 정제하기

중복 행은 어떻게 찾나요?

# Output duplicate values
height_weight[duplicates].sort_values(by = 'first_name')

    first_name last_name                               address  height  weight
22        Cole    Palmer                       8366 At, Street     178      91
102       Cole    Palmer                       8366 At, Street     178      91
28     Desirae   Shannon  P.O. Box 643, 5251 Consectetuer, Rd.     195      83
103    Desirae   Shannon  P.O. Box 643, 5251 Consectetuer, Rd.     196      83
1         Ivor    Pierce                     102-3364 Non Road     168      66
101       Ivor    Pierce                     102-3364 Non Road     168      88
37        Mary     Colon                           4674 Ut Rd.     179      75
100       Mary     Colon                           4674 Ut Rd.     179      75
Python으로 데이터 정제하기

중복 행은 어떻게 찾나요?

# Output duplicate values
height_weight[duplicates].sort_values(by = 'first_name')

1_3_full_duplicates.png

Python으로 데이터 정제하기

중복 행은 어떻게 찾나요?

# Output duplicate values
height_weight[duplicates].sort_values(by = 'first_name')

1_3_partial_duplicates.png

Python으로 데이터 정제하기

중복값은 어떻게 처리하나요?

# Output duplicate values
height_weight[duplicates].sort_values(by = 'first_name')

1_3_full_duplicates.png

Python으로 데이터 정제하기

중복값은 어떻게 처리하나요?

.drop_duplicates() 메서드

subset: 중복을 확인할 열 이름 목록.

keep: 유지할 값 선택: 첫 번째('first'), 마지막('last'), 모두(False).

inplace: 새 객체 없이 DataFrame에서 직접 삭제 (True).

# 중복 제거
height_weight.drop_duplicates(inplace = True)
Python으로 데이터 정제하기

중복값은 어떻게 처리하나요?

# Output duplicate values
column_names = ['first_name','last_name','address']
duplicates = height_weight.duplicated(subset = column_names, keep = False)
height_weight[duplicates].sort_values(by = 'first_name')

    first_name last_name                               address  height  weight
28     Desirae   Shannon  P.O. Box 643, 5251 Consectetuer, Rd.     195      83
103    Desirae   Shannon  P.O. Box 643, 5251 Consectetuer, Rd.     196      83
1         Ivor    Pierce                     102-3364 Non Road     168      66
101       Ivor    Pierce                     102-3364 Non Road     168      88
Python으로 데이터 정제하기

중복값은 어떻게 처리하나요?

# Output duplicate values
column_names = ['first_name','last_name','address']
duplicates = height_weight.duplicated(subset = column_names, keep = False)
height_weight[duplicates].sort_values(by = 'first_name')

1_3_duplicate_aggregation.png

Python으로 데이터 정제하기

중복값은 어떻게 처리하나요?

.groupby() 및 .agg() 메서드

# 열로 그룹화하고 통계 요약 생성
column_names = ['first_name','last_name','address']
summaries = {'height': 'max', 'weight': 'mean'}
height_weight = height_weight.groupby(by = column_names).agg(summaries).reset_index()

# 집계가 완료되었는지 확인
duplicates = height_weight.duplicated(subset = column_names, keep = False)
height_weight[duplicates].sort_values(by = 'first_name')

first_name    last_name    address    height    weight
Python으로 데이터 정제하기

Vamos praticar!

Python으로 데이터 정제하기

Preparing Video For Download...