おめでとうございます！

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

第1章：レイクハウスパラダイム

$$

  • レイクハウスは、データレイクの柔軟性とデータウェアハウスの信頼性を組み合わせます
  • メダリオンアーキテクチャはデータを整理します：ブロンズ → シルバー → ゴールド
  • コントロールプレーンは Databricks が管理し、データプレーンはクラウド上に存在します

$$

recraft: half: 倉庫構造と湖を映したガラス張りの外観を持つ現代的な建物。2つのアプローチを統合するレイクハウスアーキテクチャを表しています

Databricks Lakehouse 入門

第2章：コンピューティングとノートブック

$$

recraft: half: 光るノードが連なるサーバークラスターとその前に開かれたノートブック。コンピューティングリソースとインタラクティブな開発を表しています

$$

  • インタラクティブな作業には汎用クラスター、自動化にはジョブクラスターを使います
  • オートスケーリング、自動終了、ポリシーでコストを管理します
  • ノートブックはマジックコマンドで複数の言語をサポートします
  • Databricks Repos でワークスペースに完全な Git 連携を実現します
Databricks Lakehouse 入門

第3章：ガバナンスと共有

$$

  • Unity Catalog は一元的なガバナンスと自動リネージ追跡を提供します
  • Delta Sharing により、外部パートナーはデータをコピーせずにライブアクセスできます
  • Databricks 間の共有にはネイティブ方式、あらゆるプラットフォームにはオープンプロトコルを使います
  • Lakehouse Federation はデータを移動せずに外部データベースをクエリします

$$

recraft: half: 中央に鍵のかかったシールドと、さまざまな建物へつながるデータストリーム。ガバナンスと安全なデータ共有を表しています

Databricks Lakehouse 入門

第4章：デプロイメント

$$

recraft: half: ノートパソコン画面からロケットが打ち上がり、デプロイメントパイプラインとコードが上に流れている。本番環境への自動デプロイを表しています

$$

  • Databricks Asset Bundles は手動の UI デプロイをコードに置き換えます
  • databricks.yml でプロジェクト、リソース、ターゲットを定義します
  • CLI コマンド：validate、deploy、run、destroy
  • すべてが Git で管理され、再現性・監査性・自動化を実現します
Databricks Lakehouse 入門

次のステップへ

$$

  • Introduction to Databricks SQL - SQL アナリティクスとデータウェアハウジング
  • Data Engineering with Databricks - 本番 ETL パイプライン
  • Databricks Concepts - 各ペルソナにわたるエンドツーエンドのワークフロー

$$

recraft: half: 色鮮やかな景色の中を遠くへ延びる曲がりくねった道と沿道の道標。この先の学習の旅路を表しています

Databricks Lakehouse 入門

ありがとうございました！

Databricks Lakehouse 入門

Preparing Video For Download...