Databricks 레이크하우스 소개

Databricks 개념

Kevin Barlow

Data Analytics Practitioner

데이터 웨어하우스

데이터 웨어하우스

장점

• 구조적 데이터에 강함
• 높은 성능
• 데이터 정합성 유지 용이

단점

• 비용 매우 높음
• 최신 애플리케이션 지원 한계
• 머신러닝에 적합하지 않음

¹ https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html

데이터 레이크

데이터 레이크

장점

• 모든 유스케이스 지원
• 매우 유연함
• 비용 효율적

단점

• 데이터가 지저분해질 수 있음
• 역사적으로 성능이 낮았음

¹ https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html

레이크하우스의 탄생

¹ https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html

레이크하우스의 탄생

¹ https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html

Databricks 레이크하우스

Databricks 레이크하우스 플랫폼

• 모든 데이터 워크로드를 위한 단일 플랫폼
• 오픈 소스 기술 기반
• 협업 환경
• 단순한 아키텍처

¹ https://www.databricks.com/blog/2021/05/19/evolution-to-the-data-lakehouse.html

Databricks 아키텍처의 이점

통합

• AI부터 BI까지 모든 유스케이스
• 데이터 웨어하우스와 데이터 레이크의 장점 결합

멀티 클라우드

• 강력한 플랫폼을 데이터가 있는 곳으로
• 특정 클라우드에 종속되지 않음

Databricks 개발상의 이점

협업

• 모든 데이터 역할 참여
• 동일 플랫폼에서 실시간 작업 가능

오픈 소스

• Apache Spark 기반
• 주요 언어 지원(Python, R, Scala, SQL)

연습해 봅시다!

Databricks 개념