Récapitulatif du cours

Traitement des données en Shell

Susan Sun

Data Person

Télécharger des données en ligne de commande

• Comment télécharger des fichiers de données avec curl et wget
• Documentations et manuels (p. ex. man curl, wget --help)
• Téléchargement de plusieurs fichiers (p. ex. wget --limit-rate=200k -i url_list.txt)

Traitement des données en ligne de commande

• Intro à la boîte à outils en ligne de commande : csvkit
• Convertir en CSV avec in2csv
• Aperçu avec csvlook, csvstat
• Filtrer avec csvcut, csvgrep
• Empiler plusieurs fichiers avec csvstack

Manipulation de bases de données en ligne de commande

• Manipuler des bases de données avec sql2csv, csvsql
• Commandes ETL de type SQL avancées avec csvkit

Créer des chaînes de données en ligne de commande

• Exécuter Python en ligne de commande
• Gérer les modules Python avec pip
• Automatiser les modèles et chaînes de production Python avec cron

Merci ! À la prochaine !

Traitement des données en Shell