Обеспечение стандартов качества данных с DevOps

Концепции DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps обеспечивает качество кода

 

• Большинство программ работают с данными
• Качественный код обеспечивает качество данных
• DevOps помогает поддерживать высокое качество кода

Качество данных

 

• Насколько достоверна информация?
• Актуальная и точная информация
• Достичь этого бывает сложно и дорого
• Не все данные требуют одинакового уровня качества
• Качество данных включает множество элементов

Элементы качества данных

 

 

• Элементы раскрывают и определяют качество данных
• Их необходимо отслеживать и стандартизировать

   

   

• Верны ли данные во всех деталях?
• Необходим постоянный мониторинг

   

   

• Насколько исчерпывающими являются данные?
• Проверяйте, не теряются ли данные при записи в базу
• Проверяйте, не теряются ли данные при переносе между базами

   

   

• Согласованность отражает надёжность информации
• Иначе называется целостностью данных
• Требует постоянного мониторинга и тестирования

   

   

• Храните и обрабатывайте только нужную информацию
• Лишние данные впустую расходуют время и ресурсы

   

   

• Насколько свежей является информация?
• Устаревшие данные могут быть заменены более актуальными
• Необработанные данные внутри микросервисов не используются в анализе
• Микросервисы обмениваются данными через API-вызовы для получения актуальной информации
• Данные внутри микросервисов должны реплицироваться с приемлемой периодичностью

Давайте потренируемся!

Концепции DevOps