Récapitulatif du cours

Traitement des données en ligne de commande

Susan Sun

Data Person

Télécharger des données en ligne de commande

• Télécharger des fichiers avec curl et wget
• Documentations et manuels (p. ex. man curl, wget --help)
• Téléchargements multiples (p. ex. wget --limit-rate=200k -i url_list.txt)

Traitement des données en ligne de commande

• Boîte à outils en ligne de commande : csvkit
• Convertir en CSV avec in2csv
• Aperçu avec csvlook, csvstat
• Filtrer avec csvcut, csvgrep
• Empiler plusieurs fichiers avec csvstack

Manipuler des bases de données en ligne de commande

• Manipuler des bases avec sql2csv, csvsql
• Commandes ETL avancées de type SQL avec csvkit

Construire des pipelines de données en ligne de commande

• Exécuter Python en ligne de commande
• Gérer les paquets Python avec pip
• Automatiser modèles et pipelines avec cron

Merci ! À bientôt !

Traitement des données en ligne de commande