현대 데이터 아키텍처 솔루션 평가

현대 데이터 아키텍처 이해하기

Miller Trujillo

Senior Software Engineer

수집(Ingestion)

수집 계층 강조된 제안 솔루션

  • 예측 불가한 패턴
  • 당겨오기(Pull) 방식을 쓰면?
    • 파일 공개
    • 네트워크 파일 시스템
현대 데이터 아키텍처 이해하기

저장소

저장소 계층 강조된 제안 솔루션

  • 클라우드 스토리지는:

    • 데이터 웨어하우스나 DB보다 저렴함
    • 유연하며 필요한 API 제공

  • BigQuery도 옵션인가?

    • 충분히 저렴함
    • 적재 제한으로 비현실적일 수 있음

  • 수명 주기 정책으로 비용 추가 절감

현대 데이터 아키텍처 이해하기

처리

스트리밍 처리 강조된 제안 솔루션

  • Dataflow, Dataproc(Spark), 또는 Data Fusion
  • 도착 패턴 예측 불가
  • 도착 즉시 처리
  • 단순성
  • 시계열/임시 데이터
  • 수명 주기 정책으로 정리 자동화
  • 스키마 관리 불필요
현대 데이터 아키텍처 이해하기

처리: 모델 스코어링

배치 처리 강조된 제안 솔루션

  • 전체 추적이 복잡함
  • 유지 관리가 더 쉬움
  • 이전 작업은 NoSQL DB에 기록, 본 작업은 데이터 보강
현대 데이터 아키텍처 이해하기

데이터 서빙

서빙 계층 강조된 제안 솔루션

  • 분석용 BigQuery
  • NoSQL DB => 확장성·유연성 용이
현대 데이터 아키텍처 이해하기

기타 세부사항

  • 거버넌스, 오케스트레이션, 보안 등
  • 플랫폼·요건 추가 정교화
  • 더 나은 관리 지원
  • 만능 해법은 아님!

모든 것은 트레이드오프

현대 데이터 아키텍처 이해하기

연습해 봅시다!

현대 데이터 아키텍처 이해하기

Preparing Video For Download...