Extraction

Introduction à l'ingénierie des données

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Extraire des données : qu'est-ce que ça veut dire ?

Schéma de la phase d'extraction simple

Introduction à l'ingénierie des données

Extraction à partir de fichiers texte

Non structurées

  • Texte brut
  • P. ex. chapitre d'un livre

 

Call me Ishmael. Some years ago—never 
mind how long precisely—having little or
no money in my purse, and nothing particular
to interest me on shore, I thought ....

Fichiers plats

  • Ligne = enregistrement
  • Colonne = attribut
  • P. ex. .tsv ou .csv

 

Year,Make,Model,Price
1997,Ford,E350,3000.00
1999,Chevy,"Venture Extended Edition",4900.00
1999,Chevy,"Venture Extended Edition",5000.00
1996,Jeep,Grand Cherokee,4799.00
Introduction à l'ingénierie des données

JSON

  • JavaScript Object Notation
  • Semi-structuré
  • Atomique
    • number
    • string
    • boolean
    • null
  • Composite
    • array
    • object
{
  "an_object": {
    "nested": [
      "one",
      "two",
      "three",
      {
        "key": "four"
      }
    ]
  }
}

import json

result = json.loads('{"key_1": "value_1", 
                      "key_2":"value_2"}')

print(result["key_1"])

value_1
Introduction à l'ingénierie des données

Données sur le Web

Requêtes

Schéma du modèle requête-réponse

Exemple

  1. Aller sur Google
  2. Requête au serveur Google
  3. Google répond avec une page Web
Introduction à l'ingénierie des données

Données Web au moyen d'API

  • Envoi de données en format JSON
  • API : interface de programmation d'applications
  • Exemples
    • Twitter API
{ "statuses": [{ "created_at": "Mon May 06 20:01:29 +0000 2019", "text": "this is a tweet"}] }
  • Hackernews API
import requests


response = requests.get("https://hacker-news.firebaseio.com/v0/item/16222426.json")
print(response.json())

{'by': 'neis', 'descendants': 0, 'id': 16222426, 'score': 17, 'time': 1516800333, 'title': .... }
Introduction à l'ingénierie des données

Données dans des bases de données

Bases de données d'applications

  • Transactions
  • Insertion ou modification
  • OLTP
  • Orientées ligne

Bases de données analytiques

  • OLAP
  • Orientées colonne
Introduction à l'ingénierie des données

Extraction à partir de bases de données

Chaîne/URI de connexion

postgresql://[user[:password]@][host][:port]

Utilisation en Python

import sqlalchemy
connection_uri = "postgresql://repl:password@localhost:5432/pagila" 
db_engine = sqlalchemy.create_engine(connection_uri)


import pandas as pd
pd.read_sql("SELECT * FROM customer", db_engine)
Introduction à l'ingénierie des données

Passons à la pratique !

Introduction à l'ingénierie des données

Preparing Video For Download...