おめでとうございます！

Python で学ぶ ETL と ELT

Jake Roach

Data Engineer

データパイプラインの設計と構築

$$

  • 堅牢なデータパイプラインの設計
  • ETL（抽出・変換・ロード）アーキテクチャ
  • 例外処理とログ記録

ETL パイプライン。

Python で学ぶ ETL と ELT

高度な ETL 手法

$$

  • ネストされた JSON の処理
  • 高度な変換ロジック
  • SQL データベースへのデータ永続化

$$

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    },
    ...
}
Python で学ぶ ETL と ELT

データパイプラインのデプロイと保守

$$

  • データパイプラインの検証とテスト
  • 本番環境でのパイプライン実行
  • オーケストレーションツール

検証済みのデータパイプライン。

Python で学ぶ ETL と ELT

次のステップ

$$

DataCamp のロゴ。

$$

Airflow、Astronomer、Snowflake のロゴ。

  • Apache Airflow
  • Astronomer
  • Snowflake
Python で学ぶ ETL と ELT

ありがとうございました！

Python で学ぶ ETL と ELT

Preparing Video For Download...