DVC 리모트와 상호작용하기

DVC로 배우는 데이터 버저닝 입문

Ravi Bhadauria

Machine Learning Engineer

데이터 업로드와 가져오기

  • 캐시에서 DVC 리모트로/리모트에서 워크스페이스로 이동
$ dvc push <target>

$ dvc pull <target>
  • 타깃은 개별 파일
$ dvc push data.csv
DVC로 배우는 데이터 버저닝 입문

데이터 업로드와 가져오기

  • 전체 캐시 push
$ dvc push
  • 워크스페이스 내용 변경 없이 캐시만 업데이트
$ dvc fetch
  • -r 플래그로 기본 리모트 재지정
$ dvc push -r aws_remote data.csv
DVC로 배우는 데이터 버저닝 입문

Git과의 유사점

dvc pull

  • 기능: 리모트의 데이터를 DVC 워크스페이스로 다운로드

  • 용도: 대용량 데이터셋 또는 모델 아티팩트

dvc push

  • 기능: 데이터를 리모트 스토리지에 업로드

  • 용도: 데이터 아티팩트 공유/보관

git pull

  • 기능: 원격 Git 저장소에서 가져오기/병합

  • 용도: 로컬 브랜치를 원격과 동기화

git push

  • 기능: 로컬 변경 사항을 원격에 업로드

  • 용도: 변경 사항을 Git 리모트에 공유

DVC로 배우는 데이터 버저닝 입문

데이터 버전 관리

  • .dvc는 DVC가 아닌 Git이 추적합니다

  • 이를 활용해 데이터 파일의 특정 버전을 체크아웃합니다

  • .dvc 파일 체크아웃

$ git checkout <commit_hash|tag|branch>
  • .dvc 파일의 MD5로 데이터 가져오기
$ dvc checkout <target>
DVC로 배우는 데이터 버저닝 입문

데이터 변경 추적

  • 데이터 파일 내용을 수정한 뒤, 데이터셋 변경 사항 추가
$ dvc add <target>
  • 변경된 .dvc 파일을 Git에 커밋
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • 메타데이터를 Git에 push
$ git push origin main
  • 변경된 데이터 파일 업로드
$ dvc push
DVC로 배우는 데이터 버저닝 입문

연습해 봅시다!

DVC로 배우는 데이터 버저닝 입문

Preparing Video For Download...