技术 SEO 检查清单:抓取、索引、渲染三层
技术 SEO 的问题有个共同特点:不报错,只是悄悄不生效。页面能打开,但爬虫看到的是另一回事。按三层检查,每层三个动作,半小时能扫完全站。
第一层:抓取
1. robots.txt 是否正确
检查三件事:是否误屏蔽了 CSS/JS(会导致渲染失败)、是否屏蔽了分页与标签页(会丢失大量入口)、Sitemap 地址是否声明。
验证方法:直接访问 /robots.txt,逐条读。不要假设它是对的。
2. Sitemap 是否准确
要求:只含 200 状态的规范 URL、不含重定向与 404、更新时间真实、数量控制在 5 万条以内(超出需分片)。
验证方法:随机抽 20 条 URL,用 curl 看状态码。
3. 抓取预算是否被浪费
常见浪费源:站内搜索结果页、带参数的筛选页、重复的分类分页、无意义的日历归档。处理方式:加 noindex 或在 robots 里屏蔽,但不要屏蔽需要排名的页。
第二层:索引
1. 规范标签(canonical)
每个页面必须有且只有一个 canonical,指向自己或规范版本。常见错误:列表页全部 canonical 到首页(等于告诉搜索引擎这些页不用收录)。
带参数版本(?utm=、?from=)应 canonical 到无参版本。
2. 返回码
要点:不存在的页必须返回 404(不能返回 200 再显示「未找到」)、永久迁移用 301(不要用 302)、临时维护用 503。
验证方法:curl -I 看状态码。这一条最容易被自研程序做错——模板是 404,HTTP 码却是 200。
3. 重复内容
三个高频重复源:http 与 https 同时可访问、www 与裸域同时可访问、带结尾斜杠与不带同时可访问。处理方式统一为 301 到一个版本。
第三层:渲染
1. 正文是否在 HTML 里
验证方法:关掉 JS,或用 curl 抓源码,看正文是否存在于 HTML 中。如果正文靠前端请求接口拼出来,爬虫很可能看不到。
这是自研站与单页应用最常见的问题。服务端渲染是成本最低的解法。
2. 关键资源是否可抓
CSS 与 JS 被 robots 屏蔽、或被 CDN 的防爬规则拦截,会导致渲染不完整。检查方法:在搜索平台的抓取测试工具里看渲染截图。
3. 移动端是否等价
移动端页面不能少内容、不能少内链、不能把正文藏在折叠里(折叠可以,但内容必须在 HTML 中)。375px 宽度下不能有横向滚动。
上线前的十分钟检查
- curl -I 首页、栏目页、文章页、404 页,看状态码。
- curl 抓一篇文章源码,grep 正文第一句,确认在 HTML 里。
- 看 /robots.txt 与 /sitemap.xml 是否可访问且内容正确。
- 确认 http、裸域、带斜杠三种形式都 301 到同一版本。
- 看页面 head 里 title、description、canonical 是否唯一且正确。
五项都过,技术层面基本没有硬伤。剩下的就是内容与时间的活。
