
谷歌收录为0,最常见的原因不是内容差,而是robots文件误屏蔽、sitemap未提交、noindex标签误用或服务器抓取异常这四个技术坑。按顺序排查,多数站点能在1-2周内恢复收录。
上周有个做五金配件的客户找我,说独立站上线快两个月,site指令一查,谷歌收录是0。他第一反应是内容不够好,准备再招两个写手。我让他先别急,把GSC后台截图发过来。十分钟后问题就找到了——robots.txt里一行Disallow把整站封了。说白了,很多外贸工厂老板把建站外包出去,交付时只看页面好不好看,没人去查这些技术细节。今天这篇就按实战顺序,把四个高频坑一个个拆开讲。
坑一:robots.txt写错一行,谷歌爬虫被挡在门外
robots文件是谷歌爬虫进站第一道门。写错一个符号,整站就可能被屏蔽。我见过最典型的写法是Disallow: /,本意是屏蔽后台目录,结果把全站都挡了。还有的站点在测试环境加了屏蔽规则,上线时忘了删。
排查方法很简单:浏览器直接访问你的域名加/robots.txt,逐行看。重点检查有没有Disallow: /这种全站屏蔽,以及是否误伤了产品页、分类页路径。据行业数据显示,外贸独立站收录异常案例中,robots配置错误占比接近三成,是最容易被忽略的一类问题。
业内专家指出,robots文件修改后,谷歌需要重新抓取才能生效。改完别干等,去GSC的robots测试工具里提交一次,再手动请求抓取首页,能明显加快恢复速度。
坑二:sitemap没提交或提交了死链,谷歌找不到入口
sitemap相当于给谷歌爬虫递的一张地图。很多工厂站压根没生成,或者生成了但没在GSC里提交,爬虫只能靠外链慢慢发现页面,收录自然慢得离谱。
还有一种情况更隐蔽:sitemap提交了,但里面全是404或者重定向链接。谷歌抓几次都是死路,慢慢就不来了。实践表明,sitemap里有效URL占比低于80%时,抓取频率会明显下降。
- 检查sitemap.xml能否正常访问,返回状态码是否为200
- 确认GSC后台已提交sitemap,且状态显示成功
- 抽查sitemap里的URL,看是否有大量404、301
- 产品上下架频繁的站点,设置自动更新sitemap
我建议外贸工厂站把sitemap按栏目拆分,产品、新闻、案例各一个,出问题时定位更快。
坑三:noindex标签误用,页面主动拒绝收录
noindex是告诉谷歌「这个页面别收录」。问题在于,很多建站模板默认给某些页面加了noindex,比如产品详情页、标签页,交付时没人注意。
排查时打开页面源代码,搜meta name="robots",看content里有没有noindex。重点查产品页、分类页、新闻列表页这三类。坦白说,这个坑最冤——你内容写得再好,标签写着不收录,谷歌就真的不收录。
有个做机械出口的工厂,产品页全部带noindex,上线3个月收录为0,去掉标签并重新提交后,第9天开始陆续收录,第3周询盘量恢复到正常水平。
另外提醒一句,如果你用了CDN或者安全防护服务,有些会默认注入noindex头,记得在响应头里也查一遍X-Robots-Tag。
坑四:服务器抓取异常,爬虫来了就被拒
谷歌爬虫访问你的站,服务器返回5xx错误、超时,或者直接屏蔽了谷歌IP段,抓取就失败了。这种情况在用了海外服务器或者防护墙的工厂站里不少见。
去GSC的「抓取统计信息」里看,如果大量出现「服务器错误」或「已拒绝抓取」,基本就是这个问题。检查方向包括:服务器防火墙有没有屏蔽Googlebot的IP、CDN节点是否稳定、页面响应时间是否超过3秒。据研究机构报告,页面加载超过3秒,爬虫抓取预算会被明显压缩,收录速度跟着变慢。
简单讲,先让技术把服务器日志调出来,看Googlebot的访问记录是200还是403、503。状态码不会骗人。
常见问题
问题:谷歌收录为0,改完robots多久能恢复?
通常1-2周。改完robots后在GSC提交测试并手动请求抓取首页,能加快生效。收录恢复速度还取决于站点权重和sitemap质量。
问题:sitemap提交了但收录还是0,还要查什么?
重点查noindex标签和服务器抓取状态。另外确认sitemap里的URL不是重定向或404,有效链接占比尽量保持在90%以上。
问题:新站上线多久没收录算不正常?
新站正常在2-4周内会有首批收录。超过一个月收录仍为0,建议按本文四个坑逐一排查,别急着堆内容。
四个坑排查下来,多数工厂站的问题都能定位。顺序别乱:先看robots,再查sitemap,然后扫noindex,最后看服务器日志。技术问题解决了,内容才有意义。
都讯通建站,靠谱又省心。
