摘要：按 Google 搜索中心 robots.txt / 站点地图文档、Search Console 站点地图报告与网址检查说明，对照 Bing Webmaster 与百度搜索资源平台公开口径，整理搜索收录前要核对的五处：robots.txt、XML sitemap 可访问性、站点地图提交、网址检查/索引、canonical 冲突。查询日期 2026-11-01；只放官网普通链接（affiliate_later）。

依据：Google 搜索中心《robots.txt 简介》、《创建和提交站点地图》、《如何指定规范网址》；Search Console 帮助《使用「站点地图」报告管理站点地图》、《网址检查工具》；Bing Webmaster《Sitemaps》；百度搜索资源平台《Robots》、学院文普通收录 / Sitemap 提交说明。查询日期：2026-11-01（北京时间）。规则会改，以各平台当前文档与控制台为准。本文只放官网普通链接（affiliate_later），不写单价与罚款数字。

站上线后很多人第一件事是「赶紧提交收录」，却发现首页搜不到、文章长期「已发现尚未编入索引」，或整站被 Disallow: / 挡在门外。可用性监控另见网站可用性监控怎么设；HTTPS 与 CDN 见免费证书自动续期、Cloudflare CDN 与 SSL。本文专讲 搜索收录前先核对的五处配置：robots.txt、XML sitemap 是否真的能打开、站点地图有没有提交、单页索引状态、以及 canonical 是否互相打架。

五处核对总览

序号核对处过关样子常见翻车
1robots.txt根路径可打开；未误禁整站与关键资源；可写 Sitemap: 行Disallow: /、把 CSS/JS 全禁导致渲染差、用 robots「藏页」代替 noindex
2XML sitemap 文件本身浏览器/curl 返回 200；UTF-8；绝对 URL；未超单文件上限sitemap 404、相对路径、登录墙、空文件
3站点地图提交GSC / Bing / 百度侧有提交记录或 robots 已声明；状态可读只生成插件 sitemap 却从未提交；百度索引型 sitemap 仍留着
4网址检查 / 索引抽样首页+一篇新文：允许抓取、可编入索引以为「提交了就会立刻上」；忽略 robots 屏蔽后仍可能出现无摘要 URL
5canonical 与重复信号自引用一致；sitemap / rel=canonical / 内链指向同一首选 URLHTTP/HTTPS、www/非 www、带参 URL 各说各话

下面按这五处展开操作口径。

一、robots.txt：管的是抓取，不是「从搜索结果消失」

Google 搜索中心写得很清楚：robots.txt 主要告诉爬虫哪些 URL 可以访问，用来管理抓取流量；不能当成把网页从 Google 结果里藏起来的可靠手段。要阻止编入索引，应使用 noindex、密码保护或直接下线。被 Disallow 的 URL 若仍被外链指向，有时仍可能以无摘要形式出现在结果里。

网站 robots 与 sitemap：搜索收录前先核对的五处配置（2026）-有序
Google 搜索中心《robots.txt 简介》：说明 robots 管抓取而非可靠隐藏索引，并提示 CMS 用户可能走后台设置（2026-11-01 截图）

落地核对：

  1. 无痕窗口打开 https://你的域名/robots.txt，确认内容就是你以为的那份。
  2. 看是否有 Disallow: / 或过宽前缀把整站、/wp-admin 以外的文章目录一并禁掉。WordPress 常见是只禁后台与部分查询串，不要把整站禁死。
  3. 需要给爬虫看的 CSS/JS，别随手 Disallow，否则渲染结果可能和读者浏览器差很多。
  4. 想「不收录某页」：页面加 noindex，而不是只靠 robots。
  5. 可选：在文件任意位置加完整 URL 的 Sitemap: https://example.com/sitemap.xml（协议与主机写全；Google 文档示例要求全限定 URL）。

百度搜索资源平台 Robots 工具说明：文件放在网站根目录；工具侧有文件大小与目录长度检测上限（公开文案写检测约 48KB、目录最长约 250 字符）。改完后可在百度侧对照「生效情况」，也在浏览器再打开一次确认。

二、XML sitemap：先保证文件本身能被抓到

Google 支持站点地图协议下的 XML、RSS/Atom、纯文本等格式，没有偏好；个人站最常见是 CMS/插件生成的 XML。单文件限制按协议口径：最多约 5 万 URL，或未压缩约 50MB（以 Google 当前文档为准）；更大就要拆分并用索引文件。URL 要用绝对地址；文件建议 UTF-8；除非走 Search Console 提交，否则放在较深子目录时，影响范围可能只覆盖该目录及以下。

网站 robots 与 sitemap：搜索收录前先核对的五处配置（2026）-有序
Google 搜索中心《创建和提交站点地图》：格式对照表与提交入口说明（2026-11-01 截图）

落地核对：

  1. 浏览器打开 sitemap URL，应看到 XML/文本列表，而不是 404、502、登录页。
  2. 抽几条 <loc>：协议是否 HTTPS、主机是否带你想要的 www 形态、是否混进测试域。
  3. WordPress：确认插件生成的地址（常见如 /sitemap_index.xml、/wp-sitemap.xml）与你准备提交的一致。
  4. 百度学院公开说明：单个 sitemap 网址数与体积也有上限（文案常见「不超过 5 万、小于 10MB」一类）；索引型 sitemap 已不再处理，历史索引型建议删掉再交普通 URL 列表。配额随站点质量变化，以后台「普通收录 → Sitemap 提交」页为准。

搬家或改域名后，记得同步更新 sitemap 里的主机名，步骤可对照WordPress 搬家到新服务器。

三、站点地图提交：告诉引擎「去哪读列表」

提交只是提示，不保证立刻抓取或收录全部 URL。常见三条路径可并行：

  1. Google Search Console → 站点地图报告：需对该资源有所有者权限；粘贴 sitemap 路径后提交；看状态与错误。无所有者权限时，至少在 robots.txt 写 Sitemap: 行。
  2. robots.txt 声明：Google、Bing 文档都支持用 Sitemap: 行让爬虫下次读 robots 时发现。
  3. Bing Webmaster Tools：支持 XML / RSS / Atom / 文本；也可从 Google Search Console 导入；详情页能看处理状态与错误。
  4. 百度搜索资源平台：资源提交 → 普通收录 → Sitemap；先把文件放到站上再填地址；另有 API/手动提交，适合当天新链，sitemap 更偏周期性。
网站 robots 与 sitemap：搜索收录前先核对的五处配置（2026）-有序
Search Console 帮助《使用「站点地图」报告管理站点地图》：打开报告入口与「什么是站点地图」说明（2026-11-01 截图）

核对口令：提交后过一段时间再进报告，确认不是「无法获取」或长期失败；失败点常见是 robots 禁了 sitemap 路径、证书错误、返回非 sitemap 内容。

四、网址检查 / 索引：抽样看「允许抓取」和「允许编入索引」

Search Console 网址检查可看索引中的版本，也可对实际网址做实时测试。关注字段大意包括：是否允许抓取（robots）、网页抓取是否成功、是否允许编入索引（有无 noindex）、用户声明的规范网址、Google 选择的规范网址、是否由站点地图引荐等。

实操建议：

  1. 检查首页 + 最近一篇正文。
  2. 若「不允许抓取」：回第 1 处改 robots，再用实时测试确认。
  3. 若抓取成功但仍未收录：可能是质量、重复、配额或「已发现/已抓取尚未编入索引」等状态，单靠反复点「请求编入索引」解决不了整站问题；日常仍以 sitemap + 内链为主，请求编入索引有每日上限。
  4. 「网址已收录到 Google」不等于保证一定排在某关键词第一；只说明具备展示条件中的索引侧条件。

Bing、百度侧各自有抓取诊断 / 索引量类工具，抽样逻辑相同：先确认没被自家规则挡住，再谈内容质量。

五、canonical 冲突：五处里最容易「各写各的」

Google 文档把规范信号强度大致排成：重定向较强、rel="canonical" 较强、sitemap 收录为较弱提示；多种方法指向同一 URL 时更稳。明确要求包括：

  • 不要用 robots.txt 做规范化；
  • 不要对同一页在不同手段里声明不同规范 URL（例如 sitemap 写 A，页面 canonical 写 B）；
  • 规范页建议带自引用 canonical；站内链接尽量链到你认定的规范 URL；
  • HTTPS 与 HTTP 冲突时，错误证书、HTTPS 跳回 HTTP、canonical 指回 HTTP 等，都会干扰「更偏好 HTTPS」的默认倾向。

典型冲突现场：带 ?utm= 的分享链、打印页、AMP/非 AMP、www 与裸域、尾斜杠两套都能 200。先定一套主机与路径规则，再让 sitemap、canonical、菜单内链对齐。

落地清单（发新站或改版当天）

  1. □ /robots.txt 浏览器可打开；无整站 Disallow: /。
  2. □ robots 未误禁文章、分类与必要静态资源。
  3. □ sitemap URL 返回 200；抽查 <loc> 主机与协议正确。
  4. □ GSC（及你需要的 Bing / 百度）已提交或 robots 已声明 Sitemap。
  5. □ 报告无持续「无法获取」；百度侧无未清理的索引型文件挡提交。
  6. □ 网址检查抽样：允许抓取、无意外 noindex。
  7. □ 页面 canonical、sitemap、内链指向同一首选 URL。
  8. □ HTTP→HTTPS、非 www→www（或反向）重定向只留一套。
  9. □ 改 robots / sitemap 后过几天再复查，而不是只看提交瞬间。
  10. □ 监控与备份仍在：见可用性监控、定期备份。

速度与缓存会间接影响抓取体验，可另读WordPress 提速：缓存与 CDN。境内服务器上线还要单独处理备案，见ICP 备案指南。

来源与查询日期

  • Google 搜索中心：robots.txt 简介；创建和提交站点地图；指定规范网址（文档页可见更新信息，查询时核对）。
  • Search Console 帮助：站点地图报告；网址检查工具。
  • Bing Webmaster Tools：Sitemaps 帮助页。
  • 百度搜索资源平台：Robots 工具说明；学院「普通收录 / Sitemap」课程页。
  • 查询日期：2026-11-01（北京时间）。

相关阅读

风险提示

提交站点地图与请求编入索引都不能保证收录或排名。robots 与索引规则以各搜索引擎现行文档为准；第三方 SEO 插件选项变更后要重新打开 robots 与 sitemap URL 核对。本文不构成搜索优化外包或排名承诺。