DVC 소개

DVC로 배우는 데이터 버저닝 입문

Ravi Bhadauria

Machine Learning Engineer

버전 관리로서의 Git

코드 버전 관리 시스템
독립적인 로컬 개발
- 브랜치/머지
- 버전 기록 관리
협업 지원

Git의 분산 모델 개요도

버전 관리로서의 Git

CLI 기반 상호작용
터미널(셸)에서 실행
Git은 저장소로 콘텐츠 추적
- 추적할 실제 파일/폴더
- Git 메타데이터(.git 폴더)

Git 저장소 구조 이미지

Data Version Control (DVC)

DVC: 데이터 버전 관리 도구
- 데이터와 실험 관리
- Git과 유사

Git과 DVC로 데이터 버전 관리 개념도.png

Git은 메타데이터 추적, DVC는 데이터 버전 관리

Git vs DVC CLI

Git

작업 폴더에서 저장소 초기화

$ git init

파일 추가(스테이징)

$ git add code.py

변경 사항 커밋(버전 기록)

$ git commit -m "adding first file"

DVC

작업 폴더에서 DVC 저장소 초기화

$ dvc init

데이터 파일 DVC에 추가

$ dvc add data/mydata.csv

추적 중인 모든 데이터 파일 업데이트

$ dvc commit

Git vs DVC CLI

Git

원격 서버로 코드 변경 사항 푸시

$ git push

원격 변경 사항 가져오기

$ git pull

원격(깃허브)에서 기존 저장소 클론

$ git clone \
https://github.com/username/repository-name.git

DVC

원격 데이터 서버로 데이터 변경 사항 푸시

$ dvc push

DVC 프로젝트 동기화

$ dvc pull

DVC가 추적하는 파일/디렉터리 다운로드

$ dvc get \
https://github.com/username/repo-name model.pkl

연습해 봅시다!

DVC로 배우는 데이터 버저닝 입문

Preparing Video For Download...