Interacțiunea cu remote-urile DVC

CI/CD pentru Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Înțelegerea remote-urilor DVC

  • Remote-uri DVC: locație pentru stocarea datelor
  • Similare cu remote-urile Git, dar pentru date din cache
  • Avantaje
    • Sincronizarea fișierelor și directoarelor mari
    • Centralizarea sau distribuirea stocării datelor
    • Economisire de spațiu local
  • Tipuri de stocare suportate
    • Amazon S3, GCS, Google Drive
    • SSH, HTTP, sisteme de fișiere locale
CI/CD pentru Machine Learning

Configurarea remote-urilor

  • Configurați remote-uri cu comanda dvc remote add
  • Pentru AWS
dvc remote add myAWSremote s3://mybucket
  • Personalizările se fac cu dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
  • Modificare în .dvc/config
 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300
CI/CD pentru Machine Learning

Remote-uri locale și implicite

  • Remote-urile locale sunt folosite pentru prototipare rapidă
  • Utilizați directoare de sistem sau stocare NAS
dvc remote add mylocalremote /tmp/dvc
  • Setați remote-ul implicit cu indicatorul -d
dvc remote add -d mylocalremote /tmp/dvc
  • Remote-ul implicit este definit în secțiunea core din .dvc/config
[core]
remote = mylocalremote
CI/CD pentru Machine Learning

Încărcarea și descărcarea datelor

  • Comenzi pentru transferul datelor

    • Încărcare pe remote: dvc push <target>
    • Descărcare de pe remote: dvc pull <target>

  • Similare cu git push și git pull

    • .dvc este urmărit de Git, nu de DVC
  • Ținta poate fi un fișier individual dvc push data.csv
    • Sau întregul cache dvc push
  • Înlocuiți remote-ul implicit cu indicatorul -r
dvc push -r myAWSremote data.csv
CI/CD pentru Machine Learning

Urmărirea modificărilor datelor

  • Modificați fișierele de date, apoi înregistrați modificările
dvc add /path/to/data/datafile
  • Confirmați fișierul .dvc modificat în Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
  • Trimiteți metadatele în Git
git push origin main
  • Încărcați fișierul de date modificat
dvc push
CI/CD pentru Machine Learning

Să exersăm!

CI/CD pentru Machine Learning

Preparing Video For Download...