Jezelf identificeren met custom user agents

Webscraping in R

Timo Grossenbacher

Instructor

Laat jezelf zien!

  • Webserver registreert je IP al
  • Beter om jezelf expliciet te identificeren
  • Daar is een HTTP-header voor!

Een voorbeeldaanvraag

1 https://developer.mozilla.org/en-US/docs/Web/HTTP/Overview
Webscraping in R

Headers aanpassen met httr

response <- GET('http://example.com', user_agent("Hey, it's me, Timo! 
    Reach me at [email protected]."))

Of zo:

set_config(add_headers(`User-Agent` = "Hey, it's me, Timo!
    Reach me at [email protected]."))
response <- GET('http://example.com')
Webscraping in R

Laten we oefenen!

Webscraping in R

Preparing Video For Download...