데이터 버저닝의 필요성

DVC로 배우는 데이터 버저닝 입문

Ravi Bhadauria

Machine Learning Engineer

데이터 버저닝이란?

• 정의
  • 시간에 따른 데이터 변경을 모니터링
  • 반복마다 데이터 스냅샷 저장
  • 코드 버저닝과 유사
• 이점
  • 조회 및 검토 용이
  • 데이터 일관성, 책임 추적, 계보 관리
• 활용 분야
  • 데이터 사이언스·머신러닝
  • 데이터 엔지니어링
  • 재무 분석, 감사, 컴플라이언스

데이터 vs 코드 버저닝

코드 버저닝

• 소프트웨어 개발에서 보편적
• Git 등으로 분산 버전 관리
• 코드베이스가 작아 관리 용이

데이터 버저닝

• 비교적 신규(2012년 SciDB 제안)
• DVC 등 툴체인을 Git과 함께 사용
• 대규모 데이터셋으로 관리가 더 어려움

¹ doi: 10.1109/ICDE.2012.102

ML에서 왜 데이터 버저닝인가?

데이터셋의 영향

데이터셋 A

데이터셋 B

데이터셋의 영향

 

하이퍼파라미터 고정, 데이터셋 변경

 

지표	데이터셋 A	데이터셋 B
Precision	0.78	0.79
Recall	0.54	0.57
F1 Score	0.64	0.66
Accuracy	0.80	0.81

하이퍼파라미터의 영향

 

데이터셋 고정, 하이퍼파라미터 변경

 

지표	n_estimators=5	n_estimators=10
Precision	0.78	0.85
Recall	0.54	0.52
F1 Score	0.64	0.65
Accuracy	0.80	0.81

에디터 연습 레이아웃

연습해 봅시다!

DVC로 배우는 데이터 버저닝 입문