Fabric 데이터 파이프라인 소개

Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Microsoft Fabric의 Data Pipelines

Data Factory의 두 가지 핵심 기능:

  1. Data Pipelines - 데이터 이동 오케스트레이션 Data Pipelines

  2. Dataflows - UI 기반 300+ 데이터 변환 지원 Dataflows Microsoft Fabric의 Data Pipelines:

  3. 최소/무코드로 ETL 자동화

  4. 다양한 데이터 소스 통합 지원

  5. 데이터 수집·변환용 풍부한 활동 제공

  6. 수동 실행 또는 트리거로 예약 실행
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

Data Pipelines의 활동

활동(Activity)은 파이프라인 내 작업으로, 데이터 처리와 워크플로 자동화를 오케스트레이션합니다. 데이터 파이프라인의 활동을 보여주는 자동차 조립 라인

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

활동(Activity) 유형

  1. 이동 및 변환:
    • 데이터 전송과 변환 처리
    • (예: Copy data Copy data).
  2. 메타데이터 및 검증:
    • 데이터 품질 점검과 메타데이터 조회
    • (예: LookupLookup).
  3. 제어 흐름:
    • 조건·반복에 따른 작업 순서 제어
    • (예: If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

활동(Activity) 유형

  1. 오케스트레이션:

    • 여러 프로세스 동기화
    • (예: Invoke Pipeline Invoke Pipeline).

  2. 알림:

    • 이메일·메신저로 경보와 업데이트 전송
    • (예: 365 Outlook365 Outlook, TeamsTeams).

  3. 변환:

    • 비즈니스 로직에 따른 데이터 조작 실행
    • (예: NotebookNotebook, Stored ProcedureStored Procedure).
Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

파이프라인 매개변수와 변수

매개변수와 변수는 파이프라인 동작을 동적으로 제어·관리합니다.

매개변수(Parameters):

  • 실행 시 설정: 외부 입력으로 파이프라인 동작 조정
  • 전역 범위: 전체 파이프라인 실행에 영향

변수(Variables):

  • 동적 추적: 실행 중 값 변경 가능
  • 로컬 범위: 특정 활동 내 데이터 관리
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

파이프라인 실행

파이프라인 실행(run)은 파이프라인의 활동들을 완료까지 수행합니다.

  • 수동 실행(On-Demand): Fabric UI에서 직접 시작 On-Demand Run
  • 예약(Scheduled): 지정 주기로 실행 시작 Scheduled Run

모니터링:

  • Monitor 탭에서 고유 Run ID로 각 실행을 추적·검토

유효성 검사:

  • 실행 전 Validate 옵션으로 구성 확인
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

Ayo berlatih!

Microsoft Fabric로 데이터 수집과 Semantic Model 다루기

Preparing Video For Download...