Mengunduh data dengan curl

Pemrosesan Data di Shell

Susan Sun

Data Person

Apa itu curl?

curl:

  • singkatan dari Client for URLs
  • alat baris perintah Unix
  • mentransfer data ke/dari server
  • digunakan untuk mengunduh data dari situs HTTP(S) dan server FTP
Pemrosesan Data di Shell

Memeriksa instalasi curl

Periksa instalasi curl: 

man curl

Jika curl belum terpasang, Anda akan melihat:

curl command not found.

Petunjuk lengkap: https://curl.haxx.se/download.html.

Pemrosesan Data di Shell

Menjelajah Manual curl

Jika curl terpasang, konsol Anda akan terlihat seperti ini:

Tangkapan layar awal manual curl seperti ditampilkan di jendela Terminal gelap

Pemrosesan Data di Shell

Menjelajah Manual curl

Tekan Enter untuk menggulir.

Tangkapan layar manual curl yang digulir sebagian seperti ditampilkan di jendela Terminal gelap

Tekan q untuk keluar.

Pemrosesan Data di Shell

Mempelajari Sintaks curl

Sintaks dasar curl: 

curl [option flags] [URL]

URL wajib diisi.

curl juga mendukung HTTP, HTTPS, FTP, dan SFTP.

Untuk daftar lengkap opsi yang tersedia:

curl --help
Pemrosesan Data di Shell

Mengunduh Satu Berkas

Contoh:

Satu berkas tersedia di:

https://websitename.com/datafilename.txt

Gunakan flag opsional -O untuk menyimpan dengan nama aslinya:

curl -O https://websitename.com/datafilename.txt

Untuk mengganti nama berkas, gunakan -o huruf kecil + nama baru:

curl -o renameddatafilename.txt https://websitename.com/datafilename.txt
Pemrosesan Data di Shell

Mengunduh Banyak Berkas dengan Wildcard

Sering kali, server menampung banyak berkas data dengan nama serupa: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Menggunakan Wildcard (*)

Unduh semua berkas di https://websitename.com/ yang diawali datafilename dan berakhiran .txt:

curl -O https://websitename.com/datafilename*.txt
Pemrosesan Data di Shell

Mengunduh Banyak Berkas dengan Globbing Parser

Melanjutkan contoh sebelumnya: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Menggunakan Globbing Parser

Perintah berikut mengunduh setiap berkas berurutan dari datafilename001.txt hingga datafilename100.txt.

curl -O https://websitename.com/datafilename[001-100].txt
Pemrosesan Data di Shell

Mengunduh Banyak Berkas dengan Globbing Parser

Melanjutkan contoh sebelumnya: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Menggunakan Globbing Parser

Lompati berkas dan unduh tiap kelipatan N (mis. datafilename010.txt, datafilename020.txt, ... datafilename100.txt)

curl -O https://websitename.com/datafilename[001-100:10].txt
Pemrosesan Data di Shell

Pemecahan Masalah Proaktif

curl memiliki dua opsi berguna saat terjadi timeout saat mengunduh:

  • -L Mengalihkan URL HTTP jika terjadi kode kesalahan 300.

  • -C Melanjutkan transfer berkas yang terhenti sebelum selesai.

Menggabungkan semuanya:

curl -L -O -C https://websitename.com/datafilename[001-100].txt
  • Semua flag opsi ditulis sebelum URL
  • Urutan flag tidak berpengaruh (mis. -L -C -O boleh)
Pemrosesan Data di Shell

Selamat ber-curl!

Pemrosesan Data di Shell

Preparing Video For Download...