使用自定义 User-Agent 标明身份

R 语言网页抓取

Timo Grossenbacher

Instructor

表明你的身份！

  • 服务器已记录您的 IP 地址
  • 更好的是主动标明身份
  • 有个 HTTP 头正用于此！

一个请求示例

1 https://developer.mozilla.org/en-US/docs/Web/HTTP/Overview
R 语言网页抓取

用 httr 修改请求头

response <- GET('http://example.com', user_agent("Hey, it's me, Timo! 
    Reach me at [email protected]."))

另一种方式：

set_config(add_headers(`User-Agent` = "Hey, it's me, Timo!
    Reach me at [email protected]."))
response <- GET('http://example.com')
R 语言网页抓取

来试试吧！

R 语言网页抓取

Preparing Video For Download...