データエンジニアリングとビッグデータ

データエンジニアリングを理解する

Hadrien Lacroix

Content Developer at DataCamp

コースについて

• 概念的なコース
• コーディングは不要
• 目的
  • データエンジニアとデータをやり取りできること
  • さらに学ぶためのしっかりとした基盤を提供する

第 1 章

データエンジニアリングとは？

1. データエンジニアリングとビッグデータ
2. データエンジニア対データサイエンティスト
3. データパイプライン

第 2 章

データストレージの仕組み

1. 構造化データ対非構造化データ
2. SQL
3. データウェアハウスとデータレイク

第 3 章

データを移動して処理する方法

1. データを処理しています
2. データのスケジューリング
3. 並列コンピューティング
4. クラウドコンピューティング

$$

$$

$$

データワークフロー

データワークフロー

データワークフロー

データワークフロー

データエンジニア

データエンジニア

データエンジニアが提供する内容：

• 正しいデータ
• 正しい形式で
• 適切な人に
• できるだけ効率よく

データエンジニアの責務

• さまざまなソースからデータを取り込む
• 分析用にデータベースを最適化する
• 破損したデータを削除
• データアーキテクチャを開発、構築、テスト、保守する

データエンジニアとビッグデータ

• ビッグデータが標準になる =>

データエンジニアとビッグデータ

• ビッグデータが標準になる => データエンジニアの需要がますます高まる
• ビッグデータ:
  • 規模への対応を検討する必要がある
  • そのため非常に大きく、従来の手法ではもはや機能しない

ビッグデータの成長

• センサーとデバイス
• ソーシャルメディア
• エンタープライズデータ
• VoIP（音声通信、マルチメディア セッション）

¹ データエイジ 2025、シーゲート、2018年11月

5つのV

• ボリューム（どのくらい？）
• 多様性（どの種類？）
• 速度（頻度はどのくらいか？）
• 正確性（どれくらい正確か？）
• 値（どれだけ役立つか？）

概要

• あなたを待っているものは何か
• データが組織内をどのように流れるか
• データエンジニアが介入する
• 彼らの責任は何か
• データエンジニアリングはビッグデータとどのように関係するか

練習しましょう！

データエンジニアリングを理解する