人民搜索 蜘蛛算法缺陷导致VPS当机

最近一段时间我的一个网站经常出现当机情况,表现为负载高达一两百,平时一般都在10以下,后来观察日志发现 人民搜索 这个蜘蛛在疯狂的抓取页面,之后将其屏蔽,才恢复正常,所以大家如有碰到此问题可以相同处理。

蜘蛛说明页面

http://www.goso.cn/spider.html



发表评论

电子邮件地址不会被公开。 必填项已用*标注

− 4 = 1