การโต้ตอบกับ DVC Remote
การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น
Ravi Bhadauria
Machine Learning Engineer
การอัปโหลดและดึงข้อมูล
- ย้ายข้อมูลจาก cache ไปยัง DVC remote
$ dvc push <target>$ dvc pull <target>
- Target คือไฟล์แต่ละไฟล์
$ dvc push data.csv
การอัปโหลดและดึงข้อมูล
- Push cache ทั้งหมด
$ dvc push
- อัปเดต cache โดยไม่เปลี่ยน workspace
$ dvc fetch
- เลือก remote อื่นด้วย flag
-r
$ dvc push -r aws_remote data.csv
ความคล้ายคลึงกับ Git
dvc pull
ฟังก์ชัน: ดาวน์โหลดข้อมูลจาก remote มายัง DVC workspace
กรณีใช้งาน: ชุดข้อมูลขนาดใหญ่หรือ model artifacts
dvc push
ฟังก์ชัน: อัปโหลดข้อมูลไปยัง remote storage
กรณีใช้งาน: แชร์หรือจัดเก็บ data artifacts
git pull
ฟังก์ชัน: ดึง/รวมข้อมูลจาก remote Git repo
กรณีใช้งาน: ซิงค์ branch ในเครื่องกับ remote
git push
ฟังก์ชัน: อัปโหลดการเปลี่ยนแปลงในเครื่องไปยัง remote
กรณีใช้งาน: แชร์การเปลี่ยนแปลงไปยัง Git remote
การกำหนดเวอร์ชันข้อมูล
.dvcถูก track โดย Git ไม่ใช่ DVCใช้ประโยชน์นี้เพื่อ checkout ไฟล์ข้อมูลเวอร์ชันที่ต้องการ
Checkout ไฟล์
.dvc
$ git checkout <commit_hash|tag|branch>
- ดึงข้อมูลตาม MD5 ที่ระบุในไฟล์
.dvc
$ dvc checkout <target>
การติดตามการเปลี่ยนแปลงข้อมูล
- แก้ไขเนื้อหาไฟล์ข้อมูล แล้วเพิ่มการเปลี่ยนแปลง
$ dvc add <target>
- Commit ไฟล์
.dvcที่เปลี่ยนแปลงไปยัง Git
$ git add <target>.dvc
$ git commit <target>.dvc \
-m "Dataset updates"
- Push metadata ไปยัง Git
$ git push origin main
- อัปโหลดไฟล์ข้อมูลที่เปลี่ยนแปลง
$ dvc push
มาฝึกกันเถอะ!
การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น
