robots.txt 完整配置指南：语法、常见误区和实用写法
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9efae06d4c4f.html
📄
网站上线后，robots.txt 是站长绕不开的一个基础文件。它存放在域名根目录下，作用相当于一份给搜索引擎爬虫看的说明手册，告诉它们哪些页面可以抓取、哪些应该绕行。设置得当，爬虫能把精力花在最重要的内容上，加快收录；设置失误，则可能导致页面被误屏蔽，甚至影响整站的收录表现。这篇文章就从文件定位、语法细节到常见坑点，帮你系统理清配置逻辑。
1. 先理解文件的价值边界与放置要求
robots.txt 的固定访问地址是「域名 + /robots.txt」，比如 https://example.com/robots.txt。它的职责是调度爬虫的抓取范围，相当于一个入口处的指示牌，但它无法决定某个页面最终是否出现在搜索结果里。如果不想让某个页面被索引，应该使用 noindex 标签来明确禁止，robots.txt 只管拦抓取，不管拦收录，两者功能不能混为一谈。
还要记住一点：这份文件对爬虫而言只是靠自觉遵守的协议。主流搜索引擎会按规则执行，但恶意采集程序、部分不知名工具并不会理会。凡是涉及用户隐私数据、支付接口或后台管理地址的目录，绝不能只靠 robots.txt 来兜底，必须叠加登录验证、IP 限制或防火墙等硬安全手段，才能真正确保数据安全。
2. 核心语法拆解：从字段构成到优先级原则
robots.txt 由若干条规则组成，每条规则以 User-agent 开头。书写时保持「字段名: 值」的格式，建议统一使用小写字母，冒号后面加一个空格，能最大程度避免兼容性问题。
2.1 User-agent 指定规则生效的爬虫对象
这一项决定了规则块针对的是哪个爬虫。例如 User-agent: Googlebot 只约束谷歌爬虫；写 User-agent: * 则对一切爬虫生效。一个文件里可以写多组规则，分别对不同爬虫做差异化限制，互不干扰。
2.2 Allow 与 Disallow：权限配置的组合关系
Disallow 声明禁止抓取的路径，Allow 则表示允许。一个易被忽略的细节是：Disallow: 后面留空代表解除限制，即允许抓取整个站点。当 Allow 和 Disallow 同时作用于同一个链接时，搜索引擎遵循「最长匹配优先」——路径更长更具体的那条规则胜出。例如同时写了 Disallow: /admin/ 和 Allow: /admin/public/，后者路径更长，因此 /admin/public/ 下的地址依然能被爬取。
2.3 Sitemap 与 Crawl-delay：辅助指令的实际效果
Sitemap 指令用来声明网站地图的完整地址，帮助爬虫更快发现整站内容清单，习惯上放置于文件末尾。Crawl-delay 表面上是设定爬虫抓取间隔，但谷歌早已明确声明忽略该指令。若确需控制抓取频率，应该去 Google Search Console 的后台配置，而不是依赖这个字段。
3. 高频应用场景的模块化配置写法
以下列举几种最常见的配置需求，可直接参考结构替换成自身目录路径使用。
- 屏蔽整站搜索引擎抓取：User-agent: * 加 Disallow: /
- 仅屏蔽后台及临时目录：User-agent: * 加 Disallow: /wp-admin/ 和 Disallow: /temp/
- 同时限制多个不同目录：在 Disallow 字段下分行罗列，每行一条路径
- 只允许指定爬虫访问部分区域：先写 User-agent: Googlebot，配上 Allow 白名单路径
- 在文件末尾声明多个 Sitemap：每个地图地址单独用一行 Sitemap: 开头
4. 配置前的自查清单与应避开的高风险写法
动手修改之前，先确认网站的目录结构和需要保护的内容类型，再决定拦截策略。举例来说，电商站通常需要屏蔽购物车、结算和用户账户相关的动态参数，但多数不需要拦截商品详情页。
以下是几条必须具备的避坑意识：规则书写不要使用中文全角符号；通配符 $ 支持用途有限，最好先查证目标搜索引擎是否支持；已经发布的 URL 一旦在 robots.txt 中被屏蔽，可能因抓取中断导致积累的索引逐渐被清除，恢复放行后需要等待重新抓取。测试环节同样重要：保存文件后立刻访问域名下的 /robots.txt，确认内容生效，再用搜索引擎的抓取检测工具查看某个具体链接的允许状态。
5. 常见问题
5.1 robots.txt 能直接让网页从搜索结果消失吗
不能。它只能阻止爬虫抓取，页面是否被收录由索引机制决定。若要彻底移除某页面的索引，需在页面上加 noindex 标签，等爬虫再次访问时才会生效。
5.2 Allow 和 Disallow 同时出现时如何判断结果
看哪一条规则的路径前缀更长。例如 Disallow: /img/ 与 Allow: /img/banner/ 同时存在时，后者路径更长，因此 /img/banner/ 下的文件优先被放行。这就是最长匹配优先原则的体现。
5.3 修改 robots.txt 后多久会影响收录
爬虫不会实时感知文件变化，重新抓取的频率取决于站点的抓取配额和更新频次，短则数小时，长则数周。修改后可通过搜索引擎站长工具的抓取测试接口主动触发验证。
6. 总结
robots.txt 的核心价值在于合理引导爬虫流量，而不是当作安全屏障来使用。建议每次更新前先备份原文件，修改后用规则测试工具逐条验证，并在上线后跟踪核心页面的抓取变化。同时，确保隐私和商业敏感目录具备独立于 robots.txt 的硬性访问控制，才能让这份「通行指南」既高效又可靠。
