Extraer

Introducción a la ingeniería de datos

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Extraer datos: ¿qué significa?

Diagrama que representa una fase simple de extracción

Extraer de archivos de texto

No estructurado

Texto plano
P. ej., capítulo de un libro

Call me Ishmael. Some years ago—never 
mind how long precisely—having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Archivos planos

Fila = registro
Columna = atributo
P. ej., .tsv o .csv

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00

JSON

JavaScript Object Notation
Semiestructurado
Atómico
- number
- string
- boolean
- null
Compuesto
- array
- object

{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1

Datos en la Web

Peticiones

Diagrama que representa el modelo petición-respuesta

Ejemplo

Navegar a Google
Petición al servidor de Google
Google responde con la página web

Datos en la Web mediante APIs

Envían datos en formato JSON
API: interfaz de programación de aplicaciones
Ejemplos
- Twitter API

{ "statuses": [{ "created_at": "Mon May 06 20:01:29 +0000 2019", "text": "this is a tweet"}] }

Hackernews API

import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }

Datos en bases de datos

Bases de datos de aplicaciones

Transacciones
Inserciones o cambios
OLTP
Orientadas a filas

Bases de datos analíticas

OLAP
Orientadas a columnas

Extracción desde bases de datos

Cadena/URI de conexión

postgresql://[user[:password]@][host][:port]

Uso en Python

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)

¡Vamos a practicar!

Introducción a la ingeniería de datos