データコンテキストを作成する

Great Expectationsで始めるデータ品質入門

Davina Moossazadeh

Data Scientist

データ品質とは？

目的に対するデータセットの適合度

完全性
正確性
妥当性
一意性
迅速性
整合性
一貫性
など

外れ値を含む散布図。

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

なぜデータ品質が重要か

ゴミが入る。

素晴らしいモデルにゴミが入力される。

ゴミが出る。

モデルの良し悪しは入力データ次第です。

Great Expectations とは？

Great Expectations のロゴ。

Great Expectations (GX) - データ品質管理プラットフォーム

GX Cloud - Web ベースの UI
GX Core - Python パッケージ

エクスペクテーション

エクスペクテーション - データに関する検証可能な主張

データセットの形状
欠損値
重複
値の集合/範囲
文字列書式
分布
品質問題
など

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

データコンテキスト

データコンテキスト - GX 導入の主要エントリポイント

すべての GX 構成要素の設定とメソッド
- データソース
- エクスペクテーションスイート
- チェックポイント
- Data Docs
- 検証結果
- メトリクス

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

GX のインポート

Great Expectations をエイリアス gx でインポートします:

import great_expectations as gx

データコンテキストの作成

get_context() でデータコンテキストを作成します:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Passons à la pratique !

Great Expectationsで始めるデータ品質入門