ยินดีด้วย!

การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น

Ravi Bhadauria

Machine Learning Engineer

การกำหนดเวอร์ชันข้อมูลและ DVC

  • โครงสร้างของโมเดล Machine Learning
    • โค้ด ข้อมูล และ hyper-parameters กำหนดโมเดลอย่างแม่นยำ
    • ทั้งสามส่วนต้องได้รับการติดตามและกำหนดเวอร์ชัน
  • Git และ DVC
    • Git ช่วยติดตามโค้ด DVC ช่วยติดตามข้อมูล
    • Git ติดตาม metadata ของข้อมูลจริง
  • DVC ช่วยให้
    • กำหนดเวอร์ชันข้อมูลและโมเดลได้
    • รัน pipeline การทดลองแบบ reproducible
    • ติดตามการเปลี่ยนแปลงของ metrics และ plots
การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น

การติดตั้ง cache และ remotes ของ DVC

  • การติดตั้ง
    • ติดตั้งด้วย pip install dvc
    • เริ่มต้นใช้งานด้วย dvc init
    • ใช้ .dvcignore เพื่อกำหนด pattern ไฟล์ที่ต้องการติดตาม
  • Cache
    • เพิ่มไฟล์ด้วย dvc add
    • ติดตาม metadata ด้วยไฟล์ .dvc
    • ลบด้วย dvc remove และทำความสะอาดด้วย dvc gc
  • Remotes
    • กำหนดค่าด้วย dvc remote add และแสดงรายการด้วย dvc remote list
    • อัปโหลดและดาวน์โหลดข้อมูลด้วย dvc push และ dvc pull
การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น

DVC pipelines

  • โครงสร้างของไฟล์ dvc.yaml

    • ใช้ dvc stage add เพื่อเพิ่ม stage
    • ประกอบด้วย steps, commands, dependencies, params และ outputs
    • ติดตาม metrics และ plots ด้วย key metrics และ plots

  • แสดงภาพและรัน DAG

    • แสดงภาพด้วย dvc dag
    • รันด้วย dvc repro

  • แสดงและเปรียบเทียบ metrics และ plots

    • แสดงภาพด้วย dvc plots show และ dvc metrics show
    • เปรียบเทียบด้วย dvc plots diff และ dvc metrics diff
การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น

ขอบคุณ!

การจัดการเวอร์ชันข้อมูลด้วย DVC เบื้องต้น

Preparing Video For Download...