robots.txt向遵守规则的爬虫说明抓取偏好，不是文件访问控制。把敏感目录写进Disallow，并不会让普通请求失去读取这些文件的能力。
抓取、收录与访问分开理解
不允许抓取并不保证网址不会以其他方式出现在搜索结果里，也不阻止不遵守规则的客户端。敏感内容应通过认证、授权与正确存储位置保护，不能只依赖爬虫礼貌约定。
不要把私人路径当作隐藏清单公布
robots.txt通常可以公开读取，列出路径可能让其他人知道它们存在。维护时先检查目录的真实访问权限，再决定公开页面的抓取规则。搜索引擎设置不应承担它本来不具备的安全职责。
用两项独立检查验收
一项检查公开内容是否按预期允许抓取，另一项用授权测试账户检查受限资料是否受到访问控制。不要为了测试而公开真实备份。本文解释边界，没有修改本站robots.txt或搜索收录设置。
资料与继续学习
Google Search Central：robots.txt说明。资料查阅日期：2026年10月2日。步骤与练习由本站整理。
资料查阅与编辑日期：2026年10月2日。作者：玖柒。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
