데이터 인텔리전스 플랫폼 - 데이터

Databricks 입문

Kevin Barlow

Data Analytics Practitioner

조직이 데이터 관리에 신경 쓰는 이유는?

보호 및 보안

데이터 보안

데이터 신뢰

신뢰할 수 있는 분석

데이터 종류

정형

가장 흔하고 잘 이해됨
전형적인 행과 열
예:
- 데이터베이스 테이블
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

데이터 종류

반정형

웹 기반 기기에서 흔함
일부 구조가 있으나 내용이 더 유연함
예:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

데이터 종류

비정형

스마트 기기, 카메라 등에 흔함
구조는 적고, 정보는 풍부함
예:
- JPEG
- PNG
- MP4
- PDF
- DOC

비정형 데이터 다이어그램

Delta

delta.io

오픈 소스 저장 형식
Parquet 테이블 모음
JSON 트랜잭션 로그
완전한 ACID 준수
배치 및 스트리밍 데이터셋

Unity Catalog

Unity Catalog 데이터 모델

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Unity Catalog 데이터 모델

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

모든 데이터 자산을 탐색하는 단일 위치
데이터를 탐색하는 UI
Unity Catalog 권한 관리
데이터 라인리지 및 관련 자산 보기

Catalog Explorer 스크린샷

실습해 봅시다!

Databricks 입문