1. 这项检查是什么
noindex 有两个藏身处:页面 HTML 里的 <meta name="robots" content="noindex">,或服务器返回的 HTTP 响应头 X-Robots-Tag: noindex。它对搜索引擎和 AI 爬虫的含义一致:这一页请不要收录。问题是绝大多数误设发生在站长不知情时——建站工具默认勾选、测试环境忘关、模板复用带出来的。
2. 为什么影响 AI 可见度
noindex 是最强力的「主动屏蔽」之一,比 robots.txt 更精准(可精确到单页)。AI 数据管道与搜索引擎普遍尊重它。误设的典型后果:首页正常、产品页集体消失,或全站只留一个孤零零的首页——检查项若发现入口页 noindex 属于最高严重级别。
3. 如何自查
- 打开页面 →
Ctrl+U源代码 → 搜索noindex:<meta name="robots" content="noindex">或含 noindex 的组合值都要注意 - 响应头检查:F12 → Network → 刷新 → 点主文档 → Response Headers 里找
X-Robots-Tag - 重点排查:改版后的新页面、从测试环境迁移的页面、用模板批量生成的页面
4. 如何修复
- HTML 层:删除
<meta name="robots" content="noindex">这一行;若需要保留其他指令如content="index, follow"或直接删掉整个 meta - 响应头:在服务器配置(Nginx
add_header X-Robots-Tag/ CDN 规则 / 后端代码)里移除 noindex - WordPress 最常见事故:设置 → 阅读 → 「建议搜索引擎不索引本站」被勾选 → 取消勾选(这一项会全站 noindex)
- 建站平台:SaaS 建站工具(上线了、凡科等)的「搜索引擎开关」检查是否打开
- 外包团队:话术「请全站排查 meta robots 与 X-Robots-Tag 响应头中的 noindex,列清单清除」
5. 修完如何验证
- 逐页重复第 3 节检查(至少覆盖首页+产品+关于+FAQ)
- 重跑本工具,A7 应显示通过
- 搜索引擎侧用
site:你的域名观察收录恢复(需数天)
6. 常见误区
- 「我没设过就没事」:多数误设来自工具默认值与他人遗留,恰恰是「不知情」的才危险
- 「noindex 只是 SEO 概念,AI 不看这个」:AI 数据管道普遍参考收录标记
- 「删了立刻恢复」:搜索引擎重新抓取需要时间,AI 数据管道周期更长,修复后要有耐心