Alexa排名优化网
Alexa排名是目前为止世界上唯一一个比较权威的网站访问量评价指标。
SEO 实操

技术 SEO 检查清单:抓取、索引、渲染三层

2026-11-17 · 约 8 分钟读完 · Alexa排名优化网

技术 SEO 的问题有个共同特点:不报错,只是悄悄不生效。页面能打开,但爬虫看到的是另一回事。按三层检查,每层三个动作,半小时能扫完全站。

第一层:抓取

1. robots.txt 是否正确

检查三件事:是否误屏蔽了 CSS/JS(会导致渲染失败)、是否屏蔽了分页与标签页(会丢失大量入口)、Sitemap 地址是否声明。

验证方法:直接访问 /robots.txt,逐条读。不要假设它是对的。

2. Sitemap 是否准确

要求:只含 200 状态的规范 URL、不含重定向与 404、更新时间真实、数量控制在 5 万条以内(超出需分片)。

验证方法:随机抽 20 条 URL,用 curl 看状态码。

3. 抓取预算是否被浪费

常见浪费源:站内搜索结果页、带参数的筛选页、重复的分类分页、无意义的日历归档。处理方式:加 noindex 或在 robots 里屏蔽,但不要屏蔽需要排名的页。

第二层:索引

1. 规范标签(canonical)

每个页面必须有且只有一个 canonical,指向自己或规范版本。常见错误:列表页全部 canonical 到首页(等于告诉搜索引擎这些页不用收录)。

带参数版本(?utm=、?from=)应 canonical 到无参版本。

2. 返回码

要点:不存在的页必须返回 404(不能返回 200 再显示「未找到」)、永久迁移用 301(不要用 302)、临时维护用 503。

验证方法:curl -I 看状态码。这一条最容易被自研程序做错——模板是 404,HTTP 码却是 200。

3. 重复内容

三个高频重复源:http 与 https 同时可访问、www 与裸域同时可访问、带结尾斜杠与不带同时可访问。处理方式统一为 301 到一个版本。

第三层:渲染

1. 正文是否在 HTML 里

验证方法:关掉 JS,或用 curl 抓源码,看正文是否存在于 HTML 中。如果正文靠前端请求接口拼出来,爬虫很可能看不到。

这是自研站与单页应用最常见的问题。服务端渲染是成本最低的解法。

2. 关键资源是否可抓

CSS 与 JS 被 robots 屏蔽、或被 CDN 的防爬规则拦截,会导致渲染不完整。检查方法:在搜索平台的抓取测试工具里看渲染截图。

3. 移动端是否等价

移动端页面不能少内容、不能少内链、不能把正文藏在折叠里(折叠可以,但内容必须在 HTML 中)。375px 宽度下不能有横向滚动。

上线前的十分钟检查

  1. curl -I 首页、栏目页、文章页、404 页,看状态码。
  2. curl 抓一篇文章源码,grep 正文第一句,确认在 HTML 里。
  3. 看 /robots.txt 与 /sitemap.xml 是否可访问且内容正确。
  4. 确认 http、裸域、带斜杠三种形式都 301 到同一版本。
  5. 看页面 head 里 title、description、canonical 是否唯一且正确。

五项都过,技术层面基本没有硬伤。剩下的就是内容与时间的活。

把这一页的结论换成你自己的数字

六个计算器覆盖流量、收入、域名与回本,全部本地运算。

打开计算工具
分类:SEO 实操返回栏目 →

同栏目继续读