AI爬虫

最近的不少网站每天都十多个G的日志量，打开一看大部分都是各种国内外的AI爬虫痕迹，频繁请求，不间断请求，服务器根本扛不住，用robots做限制，人家根本不看，照样抓，肆无忌惮的抓，服务器16H32G照样天天CPU100%爆红，怎么办呢？ 只能从源头封禁这些爬虫，在nginx里写个配置文件，全部给他们返回403/444，多次抓不到后续就不来了，一下是我的限制代...