robots.txt规则详解:语法、写法与常见错误避坑指南

📍 WDQWDWQD987AAAAA:216.73.216.46
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /ef2b99e871d8.html
📄

robots.txt规则是网站与爬虫沟通的第一道协议,它通过简单的文本语法告诉搜索引擎哪些路径可以抓取、哪些应当回避。理解并正确配置这些规则,既能保护敏感目录,也能提升抓取效率。

robots.txt规则的基本语法

robots.txt文件位于网站根目录,由若干条记录组成。每条记录以User-agent开头,指定目标爬虫,常用User-agent: *表示所有爬虫。随后使用Allow和Disallow定义允许与禁止的路径。规则按最长匹配优先原则生效,当Allow与Disallow长度相同时,Allow通常优先。文件还可使用Sitemap指令声明站点地图位置。

常见robots.txt规则写法示例

需要注意,规则中的路径区分大小写,且不支持通配符星号用于路径中间,但部分爬虫支持$和*扩展语法。写规则时应尽量精确,避免误伤正常页面。

配置robots.txt规则的常见错误

第一,误用Disallow: /导致整站被屏蔽;第二,在规则中加入注释符号#后未换行,导致后续指令失效;第三,忘记为移动端或图片爬虫单独配置;第四,用robots.txt阻止收录却期望页面从搜索结果消失,实际上被阻止抓取的URL仍可能被索引。建议上线前用搜索引擎的robots测试工具验证,并定期检查文件是否可正常访问。

总之,robots.txt规则虽简单,却直接影响SEO与安全。遵循语法、精确路径、测试验证,才能让爬虫与网站和谐共处。

图1 图2

nginx