Otomatisasi pekerjaan data dengan cron

Pemrosesan Data di Shell

Susan Sun

Data Person

Apa itu scheduler?

Scheduler menjalankan job pada jadwal yang telah ditentukan
Scheduler komersial: Airflow, Luigi, Rundeck, dll.
Scheduler cron itu
- sederhana
- gratis
- dapat dikustomisasi
- murni command-line
- bawaan MacOS dan Linux

Apa itu cron?

Cron:

penjadwal job berbasis waktu
sudah terpasang di MacOS, Unix
dapat dipasang di Windows via Cygwin atau diganti dengan Windows Task Scheduler
digunakan untuk mengotomatisasi tugas seperti pemeliharaan sistem, skrip bash, job Python, dll.

Apa itu crontab?

Crontab adalah berkas pusat untuk melacak cron job.

crontab -l

no crontab for <username>

Dokumentasi:

man crontab

Menambahkan job ke crontab

Metode 1: ubah crontab dengan editor teks (mis. nano, Vim, Emacs)

Metode 2: echo perintah penjadwal ke crontab

echo "* * * * * python create_model.py" | crontab

Periksa apakah job terjadwal dengan benar:

crontab -l

* * * * * python create_model.py

Mempelajari penjadwalan cron job

Jadwal paling sering untuk cron job adalah satu menit.

Rincian komponen waktu untuk cron job:

.---------------- menit (0 - 59)
|  .------------- jam (0 - 23)
|  |  .---------- tanggal (1 - 31)
|  |  |  .------- bulan (1 - 12) ATAU jan,feb,mar,apr ...
|  |  |  |  .---- hari (0 - 6) (Minggu=0 atau 7) ATAU sun,mon,tue,wed ...
|  |  |  |  |
*  *  *  *  * command-to-be-executed

Mempelajari penjadwalan cron job

*  *  *  *  * python create_model.py

Interpretasi:

Jalankan setiap menit, setiap jam, setiap hari, setiap bulan, dan setiap hari dalam seminggu.
Singkatnya, jalankan setiap menit

Sumber lanjutan:

Gunakan https://crontab.guru/ untuk melihat lebih banyak cara menjadwalkan cron job

Ayo berlatih!

Pemrosesan Data di Shell