データを処理する

データエンジニアリングの理解

Hadrien Lacroix

Content Developer at DataCamp

一般的な定義

• データ処理: 生のデータを有意義な情報に変換する

データ処理の値

概念的に

• 不要なデータを削除する
• メモリ、プロセス、ネットワークのコストを最適化
• データをある型から別の型に変換する

Spotflixにて

• テスト機能データに長期的な必要性はない
• これほど大きなファイルを保存・配信する余裕がない

データ処理の値

概念的に

• 不要なデータを削除する
• メモリを節約するために
• データをある種類から別の種類へ変換する
• データを整理する
• スキーマ／構造に適合させるために
• 生産性を向上させる

Spotflixにて

• ロスレス形式である必要はない
• これほど大きなファイルは保存できない
• .flac曲を.oggに変換
• データレイクからデータウェアハウスへデータを再編成する
• 従業員テーブルの例
• データサイエンティストを支援する

データエンジニアがデータを処理する方法

• データの操作、クリーニング、整頓タスク
  • 自動化できる
  • それは常に実施する必要があります
• 適切に構造化されたデータベースにデータを保存する
• データベーステーブルの上にビューを作成する
• データベースのパフォーマンスを最適化する

• 破損した楽曲ファイルを拒否する
• 欠損メタデータの扱いを決定する
• アーティストテーブルとアルバムテーブルを分離する...
• ...しかし、それらを結合するビューを提供する
• インデックス化

¹ バッチ処理とストリーム処理の違いは次のレッスンで説明されます！

概要

• データ処理とは
• なぜそれが必要なのか
• それが何から構成されているか
• Spotflixでデータをどのように処理するか

練習しましょう！

データエンジニアリングの理解