今天在帮助一个网友检查他网站负载较高的时候看到他的网站日志有很多的爬虫访问他不存在的页面。导致他的CPU和负载提高不少,其实这个也算是一种的网站被漏洞软件扫描导致的。
我们可以看到有很多的.asp、.htm、.html、.asa的文件访问。这个办法有两种解决策略,一种是直接屏蔽UA,一种是屏蔽这些文件后缀。
location ~* \.(html|htm|asa|asp)$ {
deny all;
}
正好他的网站没有用html这种结尾后缀,他采用的额是ID URL,所以可以用这种方式。
如果是某个目录下的文件后缀需要屏蔽如何操作。
location ~ ^/include/.*\.(txt|py|html)$
{
deny all;
}
根据实际的需要设置调整。