Werken met DVC-remotes

CI/CD voor Machine Learning

Ravi Bhadauria

Machine Learning Engineer

DVC-remotes begrijpen

  • DVC-remotes: locatie voor data-opslag
  • Zoals Git remotes, maar voor gecachete data
  • Voordelen van remotes
    • Synchroniseer grote files en mappen
    • Centraliseer of verspreid opslag
    • Bespaar lokale ruimte
  • Ondersteunde opslagtypes
    • Amazon S3, GCS, Google Drive
    • SSH, HTTP, lokale bestandssystemen
CI/CD voor Machine Learning

Remotes instellen

  • Stel remotes in met dvc remote add
  • Voor AWS
dvc remote add myAWSremote s3://mybucket
  • Pas aan met dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
  • Wijziging in .dvc/config
 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300
CI/CD voor Machine Learning

Lokale en standaard remotes

  • Lokale remotes voor snel prototypen
  • Gebruik systeemmappen of NAS
dvc remote add mylocalremote /tmp/dvc
  • Stel een default remote in met de vlag -d
dvc remote add -d mylocalremote /tmp/dvc
  • Default remote staat in de sectie core van .dvc/config
[core]
remote = mylocalremote
CI/CD voor Machine Learning

Data uploaden en ophalen

  • Commando's om data te verplaatsen

    • Push naar remote: dvc push <target>
    • Pull van remote: dvc pull <target>

  • Vergelijkbaar met git push en git pull

    • .dvc wordt door Git gevolgd, niet door DVC
  • Target kan losse files zijn dvc push data.csv
    • Of hele cache dvc push
  • Overschrijf de standaard remote met -r
dvc push -r myAWSremote data.csv
CI/CD voor Machine Learning

Datamutaties bijhouden

  • Pas datafile aan en voeg datasetwijzigingen toe
dvc add /path/to/data/datafile
  • Commit het gewijzigde .dvc-bestand naar Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
  • Push metadata naar Git
git push origin main
  • Upload het gewijzigde databestand
dvc push
CI/CD voor Machine Learning

Laten we oefenen!

CI/CD voor Machine Learning

Preparing Video For Download...