Dataflows Gen2 소개
Microsoft Fabric로 데이터 수집과 Semantic Model 다루기
Alex Kuntz
Head of Cloud Curriculum, DataCamp
Microsoft Fabric의 Dataflows Gen2
Dataflows Gen2란?
- 데이터 변환 및 적재 도구
핵심 기능:
- 300개+ 복합 변환 지원(예: 병합, 피벗)
- 동적 커스터마이징을 위한 유연한 스키마 옵션
- Staging & Fast Copy: 대용량 데이터 처리
- Data Pipeline과 원활한 통합
DataFlows Gen2 인터페이스 개요
DataFlows Gen2는 Power Query Online을 활용하여 직관적인 변환 환경을 제공합니다.
Dataflow Gen2 인터페이스 구성요소
Power Query 리본: 데이터 원본 연결 및 변환 적용
쿼리 창: 데이터 원본 관리, 이름 변경, 스테이징 설정
Dataflow Gen2 인터페이스 구성요소
다이어그램 뷰: 데이터 원본과 변환을 시각화
데이터 미리보기 창: 데이터 미리보기 및 상호작용
Dataflow Gen2 인터페이스 구성요소
- 쿼리 설정 창: 적용된 단계 추적 및 수정
Dataflows Gen2의 지원 대상
데이터 파이프라인에서 Dataflows Gen2 통합
왜 통합할까요?
변환된 데이터로 추가 작업을 수행하고 워크플로를 자동화합니다.
- Dataflows Gen2를 파이프라인 작업으로 추가
- 변환 데이터에 대한 추가 작업에 적합
- 파이프라인에서 Dataflows 자동화
- 실시간 성능 모니터링
