Google 管理员工具开始在“抓取错误”页面显示网站的“软404”错误页面。

404是 HTTP 状态码中的一种,表示服务器在响应客户端的请求时文件或目录未找到:网站无法在所请求的端口访问。网站因为网站的改版、资源的整合等原因,导致很多旧的URL被删除,而用户或者其他网站上引用的这些URL并没有及时更新,就导致用户访问这些失效 URL 时候被引导到404页面。很多站长选择自定义404错误页面来尽可能引导这些流量到对应的页面,或首页、或内页。
利用404页面本来是没有任何问题的,但404页面实际上是分为”硬404″(Hard 404)和”软404″(Soft 404)。对一个不存在的页面,”软404″页面的网站不是返回一个404响应代码,而是返回一个200响应代码。这里有一个“软404页面”的模型:这个网站对一个不存在的 URL 返回一个“200代码”以及这个网站的首页。

“软404页面”会给用户带来困惑,而且搜索引擎也会花很多时间在网站上爬行和索引一些并不存在、而且经常重复的 URL。这会给网站的索引覆盖率造成负面影响——由于搜索引擎的蜘蛛被这种代码误导并花了大量时间爬行一些并不存在的网页,网站一部分含有独特内容的网页反而有可能无法被及时发现,或者不能被经常性访问。
现在,网站管理员可以通过 Google 网站管理员工具找到网站中的“软404”错误页面。并按照 Google 的建议,对错误的 URL 返回一个404响应代码,向用户清晰地说明这个文件无法找到。这样做将使搜索引擎和用户都得到更愉快的体验。