Databricks レイクハウスプラットフォームの中核機能

Databricks の基本概念

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark はオープンソースのデータ処理フレームワークで、Databricks の基盤エンジンです。

DataCamp コース

Introduction to Pyspark
Big Data Fundamentals with Pyspark
Cleaning Data with Pyspark
Machine Learning with Pyspark
Introduction to Spark SQL in Python

Spark の利点

主な利点:

拡張性・柔軟性のあるオープンソース基盤
大規模な開発者コミュニティ
高速性能
Databricks による最適化

Spark クラスター図

¹ https://spark.apache.org/docs/latest/cluster-overview.html

クラウドコンピューティングの基礎

従来型コンピューティング

クラウドコンピューティング

Databricks のコンピュート

クラスター

計算リソースの集合
すべてのワークロード・用途に対応
汎用 vs. ジョブ用

Databricks がサポートする言語

SQL ウェアハウス

SQL のみ
BI 向けユースケース
Photon

SQL 言語

クラウドデータの保存

クラウドデータ保存 - DB

クラウドデータ保存 - ファイル

Delta

Delta Lake ロゴ

Delta はオープンソースのデータ保存用ファイル形式で、次を提供します:

ACID トランザクション
バッチとストリーミングの統合
スキーマ進化
テーブル履歴
タイムトラベル

¹ delta.io

Unity Catalog

Unity Catalog は、Databricks レイクハウス上のすべてのデータ資産へのアクセスを管理するオープンなデータガバナンス戦略です。

アクセス制御に SQL GRANT、REVOKE 文を使用
シンプルなガバナンス用インターフェース

データカタログ

Databricks の UI

データのワークロードに応じて機能へ容易にアクセスできます。

全ユーザーがデータとコンピュートにアクセス
SQL ユーザーには馴染みのあるクエリ・レポート画面
データエンジニアは Delta Live Tables を活用
ML はモデル、特徴量などを利用

Databricks メニュー

復習しましょう！