一些网站,特别是放在国外的VPS上面的网站,经常被一些垃圾爬虫骚扰,比较典型的例子就是semrush,总是几十个IP不停
后来找到一个比较好的办法,直接在nginx的location模块中添加if判断header,返回410错误,如下:


if ($http_user_agent ~* (SemrushBot|Semrush) ) {
    return 410;
}

下文是国外github上面的源文,国内的搜索引擎基本全覆盖,所以不要按源文添加:

https://gist.github.com/hans2103/733b8eef30e89c759335017863bd721d

发表评论

电子邮件地址不会被公开。 必填项已用*标注