robots.txt规则是网站与爬虫沟通的第一道协议,它通过简单的文本语法告诉搜索引擎哪些路径可以抓取、哪些应当回避。理解并正确配置这些规则,既能保护敏感目录,也能提升抓取效率。
robots.txt文件位于网站根目录,由若干条记录组成。每条记录以User-agent开头,指定目标爬虫,常用User-agent: *表示所有爬虫。随后使用Allow和Disallow定义允许与禁止的路径。规则按最长匹配优先原则生效,当Allow与Disallow长度相同时,Allow通常优先。文件还可使用Sitemap指令声明站点地图位置。
需要注意,规则中的路径区分大小写,且不支持通配符星号用于路径中间,但部分爬虫支持$和*扩展语法。写规则时应尽量精确,避免误伤正常页面。
第一,误用Disallow: /导致整站被屏蔽;第二,在规则中加入注释符号#后未换行,导致后续指令失效;第三,忘记为移动端或图片爬虫单独配置;第四,用robots.txt阻止收录却期望页面从搜索结果消失,实际上被阻止抓取的URL仍可能被索引。建议上线前用搜索引擎的robots测试工具验证,并定期检查文件是否可正常访问。
总之,robots.txt规则虽简单,却直接影响SEO与安全。遵循语法、精确路径、测试验证,才能让爬虫与网站和谐共处。