Identifiera dig med en egen user agent

Webbskrapning i R

Timo Grossenbacher

Instructor

Visa vem du är!

  • Webbservern registrerar redan din IP-adress
  • Bättre att identifiera dig explicit
  • Det finns en HTTP-header för det!

Ett exempel på en förfrågan

1 https://developer.mozilla.org/en-US/docs/Web/HTTP/Overview
Webbskrapning i R

Ändra headers med httr

response <- GET('http://example.com', user_agent("Hey, it's me, Timo! 
    Reach me at [email protected]."))

Alternativt:

set_config(add_headers(`User-Agent` = "Hey, it's me, Timo!
    Reach me at [email protected]."))
response <- GET('http://example.com')
Webbskrapning i R

Nu kör vi en övning!

Webbskrapning i R

Preparing Video For Download...