การทำงานกับ DVC Remotes

CI/CD สำหรับ Machine Learning

Ravi Bhadauria

Machine Learning Engineer

ทำความเข้าใจ DVC Remotes

DVC Remotes: พื้นที่จัดเก็บข้อมูล
คล้าย Git remotes แต่สำหรับข้อมูล ที่แคชไว้
ประโยชน์ของการใช้ remotes
- ซิงโครไนซ์ไฟล์และไดเรกทอรีขนาดใหญ่
- จัดเก็บข้อมูลแบบรวมศูนย์หรือกระจาย
- ประหยัดพื้นที่ในเครื่อง
ประเภท storage ที่รองรับ
- Amazon S3, GCS, Google Drive
- SSH, HTTP, ระบบไฟล์ในเครื่อง

dvc remote add myAWSremote s3://mybucket

dvc remote modify myAWSremote connect_timeout 300

 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300

dvc remote add mylocalremote /tmp/dvc

dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

คำสั่งสำหรับโอนข้อมูล
- Push ไปยัง remote: dvc push <target>
- Pull จาก remote: dvc pull <target>
คล้ายกับ git push และ git pull
- .dvc ถูกติดตามโดย Git ไม่ใช่ DVC
Target ระบุเป็นไฟล์เดี่ยวได้ เช่น dvc push data.csv
- หรือ push ทั้ง cache ด้วย dvc push
ระบุ remote อื่นด้วย flag -r

dvc push -r myAWSremote data.csv

dvc add /path/to/data/datafile

git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"

git push origin main

dvc push

CI/CD สำหรับ Machine Learning