축하합니다

데이터 엔지니어링 입문

Vincent Vankrunkelsven

Data Engineer, DataCamp

데이터 엔지니어링 소개

 

• 데이터 엔지니어의 업무 파악하기
• 사용하는 도구 살펴보기
• 클라우드 서비스 제공업체

데이터 엔지니어링 도구

 

• 데이터베이스
• 병렬 컴퓨팅 및 프레임워크(Spark)
• Airflow를 활용한 워크플로 스케줄링

추출, 변환, 적재(ETL)

 

• 추출: 여러 소스에서 데이터 가져오기
• 변환: 병렬 컴퓨팅으로 데이터 변환하기
• 적재: 대상 데이터베이스에 데이터 적재하기

사례 연구: DataCamp

 

• 여러 소스에서 데이터 가져오기
• 변환하여 추천 결과 생성하기
• 대상 데이터베이스에 적재하기

잘하셨습니다!

데이터 엔지니어링 입문