Extrair

Introdução à Engenharia de Dados

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Extrair dados: o que significa?

Diagrama da fase simples de extração

Extrair de arquivos de texto

Não estruturado

Texto puro
Ex.: capítulo de um livro

Call me Ishmael. Some years ago—never 
mind how long precisely—having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Arquivos planos

Linha = registro
Coluna = atributo
Ex.: .tsv ou .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
Semiestruturado
Atômico
- number
- string
- boolean
- null
Composto
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

Dados na Web

Requisições

Diagrama do modelo requisição-resposta

Exemplo

Acessar o Google
Requisição ao servidor do Google
Google responde com a página

Dados na Web via APIs

Envie dados em formato JSON
API: interface de programação de aplicações
Exemplos
- Twitter API

{ "statuses": [{ "created_at": "Mon May 06 20:01:29 +0000 2019", "text": "this is a tweet"}] }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

Dados em bancos de dados

Bancos de dados de aplicação

Transações
Inserts ou alterações
OLTP
Orientados a linhas

Bancos de dados analíticos

OLAP
Orientados a colunas

Extração de bancos de dados

String/URI de conexão

postgresql://[user[:password]@][host][:port]

Uso em Python

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

Vamos praticar!

Introdução à Engenharia de Dados