Mengunduh data dengan curl

Pemrosesan Data di Shell

Susan Sun

Data Person

Apa itu curl?

curl:

  • singkatan dari Client for URLs
  • adalah alat baris perintah Unix
  • mentransfer data ke dan dari server
  • digunakan untuk mengunduh data dari situs HTTP(S) dan server FTP
Pemrosesan Data di Shell

Memeriksa instalasi curl

Periksa instalasi curl: 

man curl

Jika curl belum terpasang, Anda akan melihat:

curl command not found.

Instruksi lengkap: https://curl.haxx.se/download.html.

Pemrosesan Data di Shell

Menelusuri Manual curl

Jika curl terpasang, konsol Anda akan terlihat seperti ini:

Tangkapan layar awal manual curl seolah-olah dicetak di jendela Terminal gelap

Pemrosesan Data di Shell

Menelusuri Manual curl

Tekan Enter untuk menggulir.

Tangkapan layar manual curl yang digulir sebagian seolah-olah dicetak di jendela Terminal gelap

Tekan q untuk keluar.

Pemrosesan Data di Shell

Mempelajari Sintaks curl

Sintaks dasar curl: 

curl [option flags] [URL]

URL wajib diisi.

curl juga mendukung HTTP, HTTPS, FTP, dan SFTP.

Untuk daftar lengkap opsi yang tersedia:

curl --help
Pemrosesan Data di Shell

Mengunduh Satu Berkas

Contoh:

Satu berkas disimpan di:

https://websitename.com/datafilename.txt

Gunakan flag opsional -O untuk menyimpan dengan nama asli:

curl -O https://websitename.com/datafilename.txt

Untuk mengganti nama berkas, gunakan -o huruf kecil + nama baru:

curl -o renameddatafilename.txt https://websitename.com/datafilename.txt
Pemrosesan Data di Shell

Mengunduh Banyak Berkas dengan Globbing Parser

Melanjutkan contoh sebelumnya: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Menggunakan Globbing Parser

Perintah berikut akan mengunduh semua berkas berurutan mulai datafilename001.txt hingga datafilename100.txt.

curl -O https://websitename.com/datafilename[001-100].txt
Pemrosesan Data di Shell

Mengunduh Banyak Berkas dengan Globbing Parser

Melanjutkan contoh sebelumnya: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Menggunakan Globbing Parser

Lompati berkas dan unduh tiap berkas ke-N (mis. datafilename010.txt, datafilename020.txt, ... datafilename100.txt)

curl -O https://websitename.com/datafilename[001-100:10].txt
Pemrosesan Data di Shell

Pemecahan Masalah Proaktif

curl punya dua flag opsi yang berguna saat terjadi timeout saat mengunduh:

  • -L Mengarahkan ulang URL HTTP jika terjadi kode error 300.

  • -C Melanjutkan transfer berkas sebelumnya jika timeout sebelum selesai.

Menggabungkan semuanya:

curl -L -O -C https://websitename.com/datafilename[001-100].txt
  • Semua flag opsi diletakkan sebelum URL
  • Urutan flag tidak berpengaruh (mis. -L -C -O boleh)
Pemrosesan Data di Shell

Selamat ber-curl!

Pemrosesan Data di Shell

Preparing Video For Download...