การตั้งค่า DVC Remotes

การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น

Ravi Bhadauria

Machine Learning Engineer

ทบทวน

การเริ่มต้น DVC repository
- รัน dvc init
- Repo ใน workspace (/path/to/my-project)
การตั้งค่า DVC cache
- พื้นที่พักไฟล์ชั่วคราวใน .dvc directory
  - /path/to/my-project/.dvc/cache
- พักไฟล์ชั่วคราวด้วย dvc add
ต่อไป: DVC Remotes
- ที่จัดเก็บข้อมูลภายนอก
- ติดตามและแชร์ไฟล์

DVC Remotes: ที่จัดเก็บข้อมูล
คล้าย Git remotes แต่สำหรับข้อมูลที่ แคชไว้
ประโยชน์ของการใช้ remotes
- ซิงค์ไฟล์และไดเรกทอรีขนาดใหญ่
- รวมศูนย์หรือกระจายการจัดเก็บข้อมูล
- ประหยัดพื้นที่ในเครื่อง

แผนภาพแสดงการไหลของข้อมูลจาก DVC workspace ไปยัง cache และ remote

กราฟิกแสดงประเภท storage ที่ DVC รองรับ

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น