用 DevOps 确保数据质量标准

DevOps 概念

Cem Sakarya

DevOps Risk Advisor

DevOps 确保优质代码

 

• 大多数软件都会处理数据
• 优秀的软件产出高质量数据
• DevOps 有助于保持软件高质量

数据质量

 

• 信息的可信度有多高？
• 最新且准确的信息
• 达成可能困难且成本高
• 并非所有数据都需同等质量
• 数据质量由多要素构成

数据质量要素

 

 

• 要素分解并定义数据质量
• 应被追踪并标准化

   

   

• 各细节是否正确？
• 需密切监控

   

   

• 数据有多全面？
• 检查写入数据库时是否有丢失
• 检查跨数据库迁移时是否有丢失

   

   

• 一致性关乎信息的可靠性
• 亦称数据完整性（Data Integrity）
• 需密切监控与测试

   

   

• 仅保留并处理相关信息
• 不相关的信息浪费时间与资源

   

   

• 信息有多新？
• 旧数据应被更近期的信息替换
• 微服务内的原始数据不用于数据分析
• 微服务通过 API 调用获取最新信息
• 微服务内数据应按可接受频率复制

Vamos praticar!

DevOps 概念