Pobieranie danych za pomocą curl

Przetwarzanie danych w wierszu poleceń

Susan Sun

Data Person

Czym jest curl?

curl:

  • to skrót od Client for URLs
  • narzędzie wiersza poleceń systemu Unix
  • przesyła dane do i z serwera
  • służy do pobierania danych z witryn HTTP(S) i serwerów FTP
Przetwarzanie danych w wierszu poleceń

Sprawdzanie instalacji curl

Sprawdź instalację curl: 

man curl

Jeśli curl nie jest zainstalowany, zobaczysz:

curl command not found.

Pełne instrukcje instalacji znajdziesz na https://curl.haxx.se/download.html.

Przetwarzanie danych w wierszu poleceń

Przeglądanie podręcznika curl

Jeśli curl jest zainstalowany, konsola będzie wyglądać tak:

Zrzut ekranu przedstawiający początek podręcznika curl wyświetlonego w ciemnym oknie terminala

Przetwarzanie danych w wierszu poleceń

Przeglądanie podręcznika curl

Naciśnij Enter, aby przewijać.

Zrzut ekranu przedstawiający częściowo przewinięty podręcznik curl wyświetlony w ciemnym oknie terminala

Naciśnij q, aby wyjść.

Przetwarzanie danych w wierszu poleceń

Składnia curl

Podstawowa składnia curl: 

curl [option flags] [URL]

URL jest wymagany.

curl obsługuje też HTTP, HTTPS, FTP i SFTP.

Pełna lista dostępnych opcji:

curl --help
Przetwarzanie danych w wierszu poleceń

Pobieranie pojedynczego pliku

Przykład:

Plik jest dostępny pod adresem:

https://websitename.com/datafilename.txt

Użyj flagi -O, aby zapisać plik pod oryginalną nazwą:

curl -O https://websitename.com/datafilename.txt

Aby zmienić nazwę pliku, użyj małej litery -o + nowa nazwa:

curl -o renameddatafilename.txt https://websitename.com/datafilename.txt
Przetwarzanie danych w wierszu poleceń

Pobieranie wielu plików za pomocą parsera globbingu

Kontynuując poprzedni przykład: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Używanie parsera globbingu

Poniższe polecenie pobierze kolejno wszystkie pliki od datafilename001.txt do datafilename100.txt.

curl -O https://websitename.com/datafilename[001-100].txt
Przetwarzanie danych w wierszu poleceń

Pobieranie wielu plików za pomocą parsera globbingu

Kontynuując poprzedni przykład: 

https://websitename.com/datafilename001.txt
https://websitename.com/datafilename002.txt
...
https://websitename.com/datafilename100.txt

Używanie parsera globbingu

Pobierz co N-ty plik (np. datafilename010.txt, datafilename020.txt, ... datafilename100.txt)

curl -O https://websitename.com/datafilename[001-100:10].txt
Przetwarzanie danych w wierszu poleceń

Rozwiązywanie problemów z pobieraniem

curl oferuje dwie przydatne flagi na wypadek przerwania pobierania:

  • -L Przekierowuje URL HTTP, jeśli wystąpi kod błędu 300.

  • -C Wznawia przerwaną transmisję pliku.

Wszystko razem:

curl -L -O -C https://websitename.com/datafilename[001-100].txt
  • Wszystkie flagi umieszczaj przed URL-em
  • Kolejność flag nie ma znaczenia (np. -L -C -O też działa)
Przetwarzanie danych w wierszu poleceń

Czas na praktykę!

Przetwarzanie danych w wierszu poleceń

Preparing Video For Download...