如何发现并修复网站中常见的技术SEO问题
内容提要
本文介绍技术SEO：搜索引擎需抓取并索引网页才能展示。作者通过练习站点演示常见问题及修复方法，包括软404应返回真404、重定向链应直达最终页、robots.txt误封重要页面、隐藏的noindex响应头、错误canonical标签、标题与描述缺失或重复、链接不可抓取、内容依赖JavaScript渲染。建议用curl和查看源码定期检查，并配合PageSpeed Insights等工具。
延伸解读
技术SEO问题普遍存在，但严重性不同
文章引用审计数据：64.2%的网站至少有一个页面缺少canonical标签，61.8%的网站有重复标题，49.1%的网站至少一个页面缺少meta描述。但作者指出，缺少canonical本身不是缺陷，只有当相同内容有多个URL时才需要；重复标题则容易在编码时疏忽，需借助工具检查。读者应优先处理影响抓取和索引的问题，如robots.txt误封、noindex误用，而非盲目追求所有页面都有canonical。
软404与重定向链：容易被忽视的抓取障碍
软404指页面内容显示“未找到”但服务器仍返回200状态码，这会混淆搜索引擎，使其误以为页面有效。文章建议对已删除页面返回真404，对已移动页面使用301重定向。重定向链则是多次跳转，谷歌爬虫最多跟随10跳，但过多跳转浪费抓取预算。修复方法是让旧地址直接指向最终页面，避免中间跳转。定期用curl -sIL检查重定向链，可及时发现并简化。
noindex与robots.txt：控制索引的正确方式
noindex指令要求搜索引擎不索引页面，而robots.txt仅阻止抓取。关键区别在于：若页面被robots.txt屏蔽，谷歌无法看到noindex，页面仍可能因外链出现在搜索结果中。因此，要让页面退出索引，应使用noindex并保持页面可抓取。noindex可通过meta标签或X-Robots-Tag响应头设置，后者不会出现在页面源码中，需检查HTTP头。文章数据显示，5个被屏蔽页面中有2个使用响应头，容易遗漏。
JavaScript渲染与可抓取链接：确保内容可见
依赖JavaScript渲染的内容，虽然谷歌能执行JS，但需排队等待，且并非所有爬虫都支持。文章建议对重要内容采用服务器端渲染，确保HTML直接包含关键信息。此外，链接必须使用带href的<a>元素，谷歌才能可靠抓取；使用span加onclick的伪链接无法被爬虫识别。检查时可用curl获取源码，搜索重要文本，或使用谷歌Search Console的URL检查工具查看渲染后的HTML。
Q&A
技术SEO是什么？它和普通SEO有什么区别？
技术SEO是指解决阻止搜索引擎抓取和读取网页的问题，涉及爬取、索引和呈现三个阶段。与关注内容和关键词的普通SEO不同，技术SEO通常需要开发者知识，且问题不易察觉，需通过特定检查（如PageSpeed Insights）发现。
软404是什么？如何修复？
软404是指页面内容显示“未找到”，但服务器仍返回200状态码，会混淆搜索引擎。修复方法是让缺失页面返回真正的404状态码，例如在练习站点中删除对应路由条目。
重定向链有什么问题？如何修复？
重定向链是指一个URL经过多次重定向才到达最终页面，过多的跳转（如5-7次）会影响爬取效率。修复方法是让旧地址直接指向最终页面，避免中间跳转。
robots.txt错误屏蔽重要页面会有什么后果？如何避免？
robots.txt中如“Disallow: /blog”会阻止爬虫抓取所有以/blog开头的路径，可能导致重要文章无法被索引。应精确指定要屏蔽的目录（如/blog-drafts/），并注意robots.txt只控制抓取，不控制索引，要阻止索引需使用noindex。
如何检查并修复意外的noindex？
noindex可通过HTML的<meta name="robots" content="noindex">或HTTP头X-Robots-Tag设置。检查方法：用curl查看页面源码搜索noindex，或用curl -sI查看响应头。修复方法是移除对应的meta标签或头信息，并检查CMS或SEO插件设置。
canonical标签应该怎么用？缺失或错误会怎样？
canonical标签用于指定多个相似页面中的主版本，建议每个主页面使用自引用canonical。缺失canonical本身不是错误，但若存在重复内容（如带跟踪参数的URL）则需指定。错误canonical（如指向首页）可能导致主页面不被索引。
为什么链接必须用<a>标签？如何确保链接可抓取？
搜索引擎只能可靠抓取带有href属性的<a>元素，使用<span>等非语义元素加onclick跳转会导致链接无法被爬虫跟随。应将所有重要链接（如产品、文章）改为标准<a href="...">格式。
内容依赖JavaScript渲染会有什么SEO风险？如何检查？
依赖JavaScript渲染的内容需要等待JS加载执行，可能延迟索引且部分爬虫不执行JS。检查方法：用curl获取页面源码，搜索关键内容是否出现；或使用Google的URL Inspection工具和Rich Results Test查看渲染后HTML。建议对重要内容采用服务器端渲染。
