Забезпечення стандартів якості даних із DevOps

Концепції DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps забезпечує якісний код

  Якісний код забезпечує якісні дані, що веде до якісного ML.

  • Більшість ПЗ працює з даними
  • Якісне ПЗ дає дані високої якості
  • DevOps допомагає підтримувати якість ПЗ
Концепції DevOps

Якість даних

 

  • Наскільки інформації можна довіряти?
  • Найсвіжіша й точна інформація
  • Це може бути складно й дорого
  • Не всім даним потрібна однакова якість
  • Якість даних має багато складників
Концепції DevOps

Складники якості даних

  Складники якості даних: Точність, Повнота, Узгодженість, Релевантність, Своєчасність

 

  • Складники деталізують і визначають якість даних
  • Їх слід відстежувати та стандартизувати
Концепції DevOps

   

Складники якості даних: Точність, Повнота, Узгодженість, Релевантність, Своєчасність; Виділено «Точність»

   

  • Чи дані коректні в усіх деталях?
  • Потрібен постійний моніторинг
Концепції DevOps

   

Складники якості даних: Точність, Повнота, Узгодженість, Релевантність, Своєчасність; Виділено «Повнота»

   

  • Наскільки дані всеохопні?
  • Перевірте, чи не губляться дані під час збереження в базі даних
  • Перевірте, чи не губляться дані під час перенесення між базами
Концепції DevOps

   

Складники якості даних: Точність, Повнота, Узгодженість, Релевантність, Своєчасність; Виділено «Узгодженість»

   

  • Узгодженість стосується надійності інформації
  • Її також називають цілісністю даних
  • Потрібен тісний моніторинг і тестування
Концепції DevOps

   

Складники якості даних: Точність, Повнота, Узгодженість, Релевантність, Своєчасність; Виділено «Релевантність»

   

  • Зберігайте та обробляйте лише релевантну інформацію
  • Нерелевантна інформація марнує час і ресурси
Концепції DevOps

   

Складники якості даних: Точність, Повнота, Узгодженість, Релевантність, Своєчасність; Виділено «Своєчасність»

   

  • Наскільки інформація актуальна?
  • Старі дані слід замінювати новішими
  • Сирі дані в мікросервісах не використовують в аналітиці
  • Мікросервіси обмінюються даними через API, щоб мати найсвіжішу інформацію
  • Дані в мікросервісах слід реплікувати з прийнятною частотою
Концепції DevOps

Давайте потренуємось!

Концепції DevOps

Preparing Video For Download...