晚间老婆公司一台服务器非常慢,页面几乎打不开,CPU占用率也非常高,还以为收到攻击呢,晚间正是Google、baidu搜索网站的时间,网站如此慢肯定不行的,通过网关的防火墙查看到如此深夜来自于58.61.164.142、58.61.164.140、58.61.164.138这三个IP访问量奇高无比而且频率非常快,Google一下发现是SOSO的爬虫,以前见识过baidu的爬虫扒网站速度奇快导致流量很高、网站无反应,谁知道腾讯这个烂公司的无良程序员也写出这种攻击式的爬虫程序(它速度快了,其它爬虫就慢了,例如baidu、google)。
设置一个条件封锁所有来自58.61.164.*的流量,顿时服务器恢复正常。对应iptable语句为:
iptables -A FORWARD -j DROP -p tcp -s 58.61.164.1/24
apache的.htaccess文件设置如下也可:
order allow,deny
deny from 58.61.164.
allow from all
如果只需要封锁soso爬虫的5个ip,可以用58.61.164.136/29。
最奇怪的是soso上面写着搜索结果有Google提供,怎么自己也弄个爬虫呢,太变态了。有没有一个网站列出所有这些无良爬虫的IP哦。
不知道做一个这样的网站会不会被干掉。