Đảm bảo tiêu chuẩn chất lượng dữ liệu với DevOps

Các Khái Niệm DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps đảm bảo mã tốt

  Mã tốt tạo dữ liệu tốt dẫn đến ML tốt.

  • Phần lớn phần mềm xử lý dữ liệu
  • Phần mềm tốt tạo dữ liệu chất lượng cao
  • DevOps giúp duy trì chất lượng cao cho phần mềm
Các Khái Niệm DevOps

Chất lượng dữ liệu

 

  • Thông tin đáng tin cậy đến mức nào?
  • Thông tin mới nhất và chính xác
  • Có thể khó và tốn kém để đạt được
  • Không phải dữ liệu nào cũng cần cùng mức chất lượng
  • Chất lượng dữ liệu gồm nhiều yếu tố
Các Khái Niệm DevOps

Các yếu tố của chất lượng dữ liệu

  Các yếu tố Chất lượng dữ liệu: Độ chính xác, Độ đầy đủ, Tính nhất quán, Mức độ liên quan, Tính kịp thời

 

  • Các yếu tố phân tách và định nghĩa Chất lượng dữ liệu
  • Cần được theo dõi và chuẩn hóa
Các Khái Niệm DevOps

   

Các yếu tố Chất lượng dữ liệu: Độ chính xác, Độ đầy đủ, Tính nhất quán, Mức độ liên quan, Tính kịp thời; Tô đậm Độ chính xác

   

  • Dữ liệu có đúng từng chi tiết không?
  • Cần được giám sát chặt chẽ
Các Khái Niệm DevOps

   

Các yếu tố Chất lượng dữ liệu: Độ chính xác, Độ đầy đủ, Tính nhất quán, Mức độ liên quan, Tính kịp thời; Tô đậm Độ đầy đủ

   

  • Dữ liệu có đầy đủ không?
  • Kiểm tra mất dữ liệu khi lưu vào cơ sở dữ liệu
  • Kiểm tra mất dữ liệu khi chuyển giữa các cơ sở dữ liệu
Các Khái Niệm DevOps

   

Các yếu tố Chất lượng dữ liệu: Độ chính xác, Độ đầy đủ, Tính nhất quán, Mức độ liên quan, Tính kịp thời; Tô đậm Tính nhất quán

   

  • Tính nhất quán nói về độ tin cậy của thông tin
  • Còn gọi là tính toàn vẹn dữ liệu
  • Cần giám sát và kiểm thử chặt chẽ
Các Khái Niệm DevOps

   

Các yếu tố Chất lượng dữ liệu: Độ chính xác, Độ đầy đủ, Tính nhất quán, Mức độ liên quan, Tính kịp thời; Tô đậm Mức độ liên quan

   

  • Chỉ giữ và xử lý thông tin liên quan
  • Thông tin không liên quan lãng phí thời gian và tài nguyên
Các Khái Niệm DevOps

   

Các yếu tố Chất lượng dữ liệu: Độ chính xác, Độ đầy đủ, Tính nhất quán, Mức độ liên quan, Tính kịp thời; Tô đậm Tính kịp thời

   

  • Thông tin có cập nhật kịp thời không?
  • Dữ liệu cũ có thể được thay bằng thông tin mới hơn
  • Dữ liệu thô trong microservice không dùng cho phân tích
  • Microservice gọi API để lấy thông tin mới nhất
  • Dữ liệu trong microservice nên được sao chép với tần suất chấp nhận được
Các Khái Niệm DevOps

Ayo berlatih!

Các Khái Niệm DevOps

Preparing Video For Download...