robots txt 是什么？网站优化必备的抓取规则指南

📍 WDQWDWQD987AAAAA:216.73.216.229
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e27e5a132113.html
📄

robots txt 是网站根目录下的纯文本文件，用来告诉搜索引擎蜘蛛哪些页面可以抓取、哪些应当避开。它虽然简单，却直接影响网站的收录效率与排名表现，是每位站长和 SEO 人员必须掌握的基础配置。

robots txt 的核心作用

搜索引擎在抓取网站前，通常会先请求 robots.txt 文件。通过其中的 Disallow 和 Allow 指令，网站可以限制后台、搜索结果页、临时目录等低价值页面被爬取，从而把抓取预算集中在重要内容上。

常见指令与写法

• User-agent：指定规则适用的搜索引擎蜘蛛，* 表示所有蜘蛛。
• Disallow：禁止抓取的路径，例如 /admin/。
• Allow：允许抓取的路径，常用于覆盖更宽泛的禁止规则。
• Sitemap：声明网站地图地址，帮助蜘蛛快速发现页面。

示例写法：先写 User-agent: *，再写 Disallow: /admin/，最后用 Sitemap 指向地图文件。注意路径区分大小写，且不要错误屏蔽 CSS、JS 等渲染资源。

配置 robots txt 的注意事项

robots txt 只是抓取建议，并不能阻止页面被索引。若需要彻底移除页面，应配合 noindex 标签或登录权限。另外，修改后需用搜索引擎的抓取测试工具验证，避免误伤正常页面。定期检查文件是否存在语法错误，也是网站健康维护的重要环节。

掌握 robots txt 的正确用法，能让网站抓取更高效、收录更干净，为后续优化打下稳固基础。