抽出

データエンジニアリング入門

Vincent Vankrunkelsven

Data Engineer @ DataCamp

データの抽出：意味は？

単純な抽出フェーズの図

テキストファイルからの抽出

非構造化

プレーンテキスト
例：本の章

Call me Ishmael. Some years ago—never 
mind how long precisely—having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

フラットファイル

行 = レコード
列 = 属性
例：.tsv や .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
半構造化
原子的データ型
- number
- string
- boolean
- null
複合型
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

Web上のデータ

リクエスト

リクエスト-レスポンスモデルの図

例

Googleを表示
Googleサーバーへリクエスト
Googleがページを返す

Web上のデータとAPI

データはJSON形式で送信
API: Application Programming Interface
例
- Twitter API

{ "statuses": [{ "created_at": "Mon May 06 20:01:29 +0000 2019", "text": "this is a tweet"}] }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

データベース内のデータ

アプリケーション向けデータベース

トランザクション
挿入・更新
OLTP
行指向

分析向けデータベース

OLAP
列指向

データベースからの抽出

接続文字列/URI

postgresql://[user[:password]@][host][:port]

Pythonでの利用

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

演習に進みましょう！

データエンジニアリング入門