robotstxt 是什么？robots.txt 基础写法与 SEO 配置指南

📍 WDQWDWQD987AAAAA:52.167.144.213
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36
🔗 /dc36ffbdbc2d.html
📄

robotstxt 是搜索引擎优化中经常被提及的一个文件，它位于网站根目录，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避免。正确理解 robotstxt 的语法与作用，是每个网站运营者和开发者的基础功课。

robotstxt 是什么

robotstxt 通常指 robots.txt 文件，是网站与爬虫之间的一种协议约定。它通过简单的文本指令，向搜索引擎蜘蛛说明站点的抓取范围。需要注意的是，robots.txt 是建议性协议，并非强制安全机制，不能用来保护敏感数据。

robots.txt 基础语法

• User-agent：指定规则适用的爬虫，如百度蜘蛛、Googlebot，或使用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，例如 Disallow: /admin/ 表示不允许抓取后台目录。
• Allow：在禁止规则中开放特定路径，常用于精细化控制。
• Sitemap：声明站点地图地址，帮助爬虫更快发现页面。

一个简单的示例是：User-agent 写 *，Disallow 写 /admin/，Sitemap 指向站点地图。配置时应当避免误屏蔽 CSS、JS 等影响页面渲染的资源。

robotstxt 与 SEO 的关系

合理配置 robots.txt 可以避免爬虫浪费抓取预算，减少重复内容抓取，并引导蜘蛛优先访问重要页面。但若配置错误，例如整站禁止抓取，可能导致页面无法被索引。对于需要被收录的页面，不应仅依赖 robots.txt 屏蔽，而应结合 noindex 标签和权限控制。

配置建议

1. 确保 robots.txt 放在网站根目录，文件名小写。
2. 上线前使用搜索资源平台工具测试规则是否生效。
3. 避免在 Disallow 中屏蔽重要目录和静态资源。
4. 定期检查 robots.txt 是否被误改或返回异常状态码。

掌握 robotstxt 的基本规则，并结合站点实际情况持续维护，才能让搜索引擎抓取更高效，为 SEO 打下稳定基础。