축하합니다

데이터 엔지니어링 입문

Vincent Vankrunkelsven

Data Engineer @ DataCamp

데이터 엔지니어링 소개

 

• 데이터 엔지니어의 업무 파악
• 사용하는 도구 종류
• 클라우드 서비스 제공업체

데이터 엔지니어링 도구상자

 

• 데이터베이스
• 병렬 컴퓨팅 및 프레임워크(Spark)
• Airflow로 워크플로 스케줄링

Extract, Load and Transform (ETL)

 

• Extract: 여러 소스에서 데이터 수집
• Transform: 병렬 컴퓨팅으로 변환 수행
• Load: 대상 데이터베이스로 적재

사례 연구: DataCamp

 

• 여러 소스에서 데이터 가져오기
• 추천 생성 위해 변환
• 대상 데이터베이스에 적재

수고하셨습니다!

데이터 엔지니어링 입문