robots.txt文件详解:作用、写法与常见错误避坑指南
📍 WDQWDWQD987AAAAA:216.73.216.46
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a9be796569ed.html
📄
robots.txt文件是网站与搜索引擎爬虫沟通的第一道桥梁。正确配置它能引导爬虫高效抓取,配置错误则可能导致页面无法收录。本文从作用、写法到常见错误,帮你系统掌握这个看似简单却极易踩坑的文件。
robots.txt文件的核心作用
robots.txt是放置在网站根目录下的纯文本文件,用于告诉搜索引擎蜘蛛哪些目录或页面可以抓取、哪些应当避开。它遵循爬虫排除协议,是SEO基础配置之一。需要强调的是,它只是建议性协议,恶意爬虫可以无视;同时它不能阻止页面被索引,若需彻底屏蔽,应使用noindex标签。
基本语法与写法示例
文件由若干组规则构成,常用指令包括User-agent、Disallow、Allow和Sitemap。以下是一个典型示例:
- User-agent: * 表示规则适用于所有爬虫;
- Disallow: /admin/ 禁止抓取后台目录;
- Allow: /admin/public/ 允许抓取特定子路径;
- Sitemap: https://example.com/sitemap.xml 声明站点地图位置。
注意Disallow后面留空表示允许抓取全部内容,而Disallow: /则禁止抓取整站,使用前务必确认。
常见错误与避坑建议
- 误写Disallow: /导致整站被屏蔽,这是最严重的错误;
- 文件放在子目录而非根目录,爬虫无法读取;
- 用robots.txt阻止敏感页面被索引,实际上URL仍可能出现在搜索结果中;
- 规则冲突时未测试,建议使用搜索引擎官方工具验证。
最后提醒:修改robots.txt文件后应持续观察抓取数据,确保搜索引擎行为符合预期,避免因一行配置损失流量。