축하합니다!

DVC로 배우는 데이터 버저닝 입문

Ravi Bhadauria

Machine Learning Engineer

데이터 버전 관리와 DVC

  • 머신 러닝 모델의 구성 요소
    • 코드, 데이터, 하이퍼파라미터가 모델을 정확히 규정합니다
    • 세 가지 모두 추적과 버전 관리가 필요합니다
  • Git과 DVC
    • Git은 코드를, DVC는 데이터를 추적합니다
    • Git은 실제 데이터의 메타데이터를 추적합니다
  • DVC로 할 수 있는 것
    • 데이터와 모델의 버전 관리
    • 재현 가능한 실험 파이프라인 실행
    • 지표와 플롯 변경 사항 추적
DVC로 배우는 데이터 버저닝 입문

DVC 설정, 캐시, 리모트

  • 설정
    • pip install dvc로 설치
    • dvc init으로 초기화
    • .dvcignore로 추적할 파일 패턴 제어
  • 캐시
    • dvc add로 파일 추가
    • .dvc 파일로 메타데이터 추적
    • dvc remove로 제거, dvc gc로 정리
  • 리모트
    • dvc remote add로 구성, dvc remote list로 목록 확인
    • dvc push/dvc pull로 데이터 업로드/다운로드
DVC로 배우는 데이터 버저닝 입문

DVC 파이프라인

  • dvc.yaml 파일 구조

    • dvc stage add로 스테이지 추가
    • 구성: steps, commands, dependencies, params, outputs
    • metrics, plots 키로 지표와 플롯 추적

  • DAG 시각화 및 실행

    • dvc dag로 시각화
    • dvc repro로 실행

  • 지표와 플롯 보기/비교

    • dvc plots show, dvc metrics show로 시각화
    • dvc plots diff, dvc metrics diff로 비교
DVC로 배우는 데이터 버저닝 입문

감사합니다!

DVC로 배우는 데이터 버저닝 입문

Preparing Video For Download...