360鹰眼-更智能的Web安全监控系统

产品描述:

下一代web漏洞扫描器,她是一款硬件,包含:最全面的"爬出"引擎,不再需要收集资产清单,不再需要指定扫描时间,同步发现新上线业务漏洞

适用对象:

企业

价格服务:

目录价19.8万起
我了解,我要试用
提示轻微

发现robots.txt文件

WASC Threat Classification

发现时间:

漏洞类型:

信息泄露

所属建站程序:

其他

所属服务器类型:

通用

所属编程语言:

其他

描述:

目标站点发现robots.txt文件。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
验证方式:

打开目标页面验证是否存在robots.txt文件。

示例:


危害:

robots.txt文件有可能泄露系统中的敏感信息,如后台地址或者不愿意对外公开的地址等,攻击者有可能利用这些信息实施进一步的攻击。

解决方案:

1. 确保robots.txt中不包含敏感信息,建议将不希望对外公布的目录或文件请使用权限控制,使得匿名用户无法访问这些信息

2. 将敏感的文件和目录移到另一个隔离的子目录,以便将这个目录排除在Web Robot搜索之外。如将文件移到“folder”之类的非特定目录名称是比较好的解决方案: New directory structure: /folder/passwords.txt/folder/sensitive_folder/

New robots.txt: User-agent: * Disallow: /folder/

3.     如果您无法更改目录结构,且必须将特定目录排除于 Web Robot 之外,在 robots.txt 文件中,请只用局部名称。虽然这不是最好的解决方案,但至少它能加大完整目录名称的猜测难度。例如,如果要排除“admin”和“manager”,请使用下列名称(假设 Web 根目录中没有起始于相同字符的文件或目录): robots.txt: User-agent: * Disallow: /ad Disallow: /ma

如果你的网站服务器是Windows系统,建议使用"主机卫士"修复漏洞,点击下载,如果您因为技术原因无法修复漏洞,请进入360站长社区寻求帮助
对该漏洞进行评论
[共 66 条]
还可以输入120
 
输入验证码: