データウェアハウスとデータレイク
データエンジニアリングを理解する
Hadrien Lacroix
Content Developer
データレイクとデータウェアハウス
データレイク
- すべての生データを保管
- ペタバイトになることがある（100万GB）
- すべてのデータ構造を保存
- 費用対効果が高い
- 分析が難しい
- 最新のデータカタログが必要である
- データサイエンティストが使用
- ビッグデータ、リアルタイム分析
データウェアハウス
- 特定の用途のための特定のデータ
- 比較的小さい
- 主に構造化データを保存する
- 更新コストが高い
- データ分析向けに最適化
- データアナリストやビジネスアナリストにも使用されます
- アドホックな読み取り専用クエリ
データレイク向けデータカタログ
- このデータの出所は何ですか？
- このデータはどこで使用されるか？
- このデータはどのくらいの頻度で更新されるか？
- データガバナンスの観点でのベストプラクティス
- 再現性を確保します
- カタログなし --> データの沼
- あらゆるデータ保存ソリューションのベストプラクティス
データベース vs. データウェアハウス
- データベース:
- 一般用語
- 緩やかに定義すると、コンピューター上に保存・アクセスされる整理されたデータ
- データウェアハウスはデータベースの一種です
概要
- データテーブル
- データウェアハウス
- データベース
- データカタログ
練習しましょう！
データエンジニアリングを理解する
Preparing Video For Download...
