DevOps로 데이터 품질 표준 보장

DevOps 개념

Cem Sakarya

DevOps Risk Advisor

DevOps는 좋은 코드를 보장

  좋은 코드가 좋은 데이터를 만들고, 이는 좋은 ML로 이어짐.

  • 대부분의 소프트웨어는 데이터를 처리함
  • 좋은 소프트웨어는 고품질 데이터를 만듦
  • DevOps는 소프트웨어 품질 유지를 돕습니다
DevOps 개념

데이터 품질

 

  • 정보는 얼마나 신뢰할 수 있는가?
  • 최신이고 정확한 정보
  • 달성하기 어렵고 비용이 큼
  • 모든 데이터가 동일한 품질을 요구하지는 않음
  • 데이터 품질에는 여러 요소가 있음
DevOps 개념

데이터 품질의 요소

  데이터 품질 요소: 정확성, 완전성, 일관성, 적합성, 적시성

 

  • 요소는 데이터 품질을 분해·정의함
  • 추적하고 표준화해야 함
DevOps 개념

   

데이터 품질 요소: 정확성, 완전성, 일관성, 적합성, 적시성; 정확성 강조

   

  • 데이터가 모든 세부에서 정확한가?
  • 면밀히 모니터링해야 함
DevOps 개념

   

데이터 품질 요소: 정확성, 완전성, 일관성, 적합성, 적시성; 완전성 강조

   

  • 데이터가 얼마나 포괄적인가?
  • DB에 저장하며 손실이 없는지 점검
  • DB 간 이동 시 손실이 없는지 점검
DevOps 개념

   

데이터 품질 요소: 정확성, 완전성, 일관성, 적합성, 적시성; 일관성 강조

   

  • 일관성은 정보의 신뢰성과 관련됨
  • 데이터 무결성으로도 불림
  • 면밀히 모니터링·테스트해야 함
DevOps 개념

   

데이터 품질 요소: 정확성, 완전성, 일관성, 적합성, 적시성; 적합성 강조

   

  • 관련 정보만 보관·처리
  • 불필요한 정보는 시간과 자원 낭비
DevOps 개념

   

데이터 품질 요소: 정확성, 완전성, 일관성, 적합성, 적시성; 적시성 강조

   

  • 정보가 얼마나 최신인가?
  • 오래된 데이터는 최신 정보로 대체 가능
  • 마이크로서비스의 원시 데이터는 분석에 직접 쓰지 않음
  • 마이크로서비스는 최신 정보를 API 호출로 교환
  • 마이크로서비스 내 데이터는 허용 빈도로 복제되어야 함
DevOps 개념

Ayo berlatih!

DevOps 개념

Preparing Video For Download...