Automatyzacja zadań danych z cron

Przetwarzanie danych w wierszu poleceń

Susan Sun

Data Person

Czym jest harmonogram?

Harmonogram uruchamia zadania według ustalonego planu
Komercyjne harmonogramy: Airflow, Luigi, Rundeck itp.
Harmonogram cron jest
- prosty
- bezpłatny
- konfigurowalny
- wyłącznie wiersz poleceń
- natywny dla MacOS i Linux

Czym jest cron?

Cron:

to harmonogram zadań oparty na czasie
jest preinstalowany w MacOS i Unix
można zainstalować w Windows przez Cygwin lub zastąpić Harmonogramem zadań Windows
służy do automatyzacji zadań, takich jak konserwacja systemu, skrypty bash, zadania Python itp.

Czym jest crontab?

Crontab to centralny plik do zarządzania zadaniami cron.

crontab -l

no crontab for <username>

Dokumentacja:

man crontab

Dodawanie zadania do crontab

Metoda 1: edycja crontab w edytorze tekstu (np. nano, Vim, Emacs)

Metoda 2: użycie echo, aby dodać polecenie do crontab

echo "* * * * * python create_model.py" | crontab

Sprawdzenie, czy zadanie jest poprawnie zaplanowane:

crontab -l

* * * * * python create_model.py

Ustalanie czasu zadania cron

Najczęstszy interwał dla zadań cron to jedna minuta.

Składniki czasu w zadaniu cron:

.---------------- minute (0 - 59)
|  .------------- hour (0 - 23)
|  |  .---------- day of month (1 - 31)
|  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
|  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed ...
|  |  |  |  |
*  *  *  *  * command-to-be-executed

Ustalanie czasu zadania cron

*  *  *  *  * python create_model.py

Interpretacja:

Uruchamiane co minutę każdej godziny każdego dnia każdego miesiąca i każdego dnia tygodnia.
Krótko: uruchamiane co minutę

Dodatkowe zasoby:

Użyj https://crontab.guru/, aby zobaczyć więcej sposobów planowania zadań cron

Czas na ćwiczenia!

Przetwarzanie danych w wierszu poleceń