技术搜索引擎优化 “已索引，但被 阻止”可以不

在大多数情况下，这将是一个简单的问题，您在 robots.txt 文件中阻止了抓取。但还有一些其他条件可能会触发该问题，因此让我们通过以下故障排除过程来尽可能有效地诊断和修复问题：




您可以看到，第一步是询问自己是否希望 Google 对该 URL 建立索引。


如果您不希望 URL 被编入索引...
只需添加一个noindex 元机器人标签并确保允许爬行 - 假设它是规范的。


如果您阻止某个页面被抓取，Google 仍可能将其编入索引，因为抓取和索引是两件不同的事情。除非 Google 可以抓取页面，否则他们不会看到 noindex 元标记，并且可能仍会对其建立索引，因为它具有链接。


如果 URL 规范化为另一个页面，请勿添加 noindex 元机器人标记。只需确保适当的规范化信号到位，包括规范页面上的规范标签，并允许爬行，以便信号正确传递和整合。


如果您确实希望将 URL 编入索引...
您需要弄清楚为什么 Google 无法抓取该 URL 并删除阻止。


最可能的原因是robots.txt中的抓取块。但在其他一些情况下，您可能会看到消息称您已被阻止。让我们按照您可能寻找的顺序来浏览这些内容。


检查 robots.txt 中是否存在抓取块
检查是否存在间歇性阻塞
检查用户代理块
检查 IP 块
检查 robots.txt 中是否存在抓取块
查看问题的最简单方法是使用GSC 中的 robots.txt 测试程序，它将标记阻止规则。


2-机器人测试仪.gif


如果您知道要查找的内容或者您无权访问 GSC，则可以导航至 dt 来查找该文件。我们在robots.txt 文章中提供了更多信息，但您可能正在寻找类似以下的禁止语句：


不允许： /
可能会提到特定的用户代理，也可能会阻止所有人。如果您的网站是新网站或最近推出，您可能需要查找：


用户代理：*
禁止：/
找不到问题？
在您调查问题之前，可能有人已经修复了 robots.txt 块并解决了问题。这是最好的情况。但是，如果问题看似已解决，但不久后再次出现，则可  新加坡电报号码数据  能存在间歇性阻塞。






怎么修
您需要删除导致阻止的 disallow 语句。您执行此操作的方式因您所使用的技术而异。


WordPress
如果问题影响您的整个网站，最可能的原因是您检查了 WordPress 中的设置以禁止建立索引。此错误在新网站和网站迁移后很常见。请按照以下步骤进行检查：


点击“设置”
点击“阅读”
确保未选中“搜索引擎可见性”。


WordPress 与 Yoast
如果您使用的是Yoast SEO插件，您可以直接编辑robots.txt文件来删除屏蔽语句。


点击“Yoast SEO”
点击“工具”
单击“文件编辑器”
WordPress 与排名数学
与 Yoast 类似，Rank Math允许您直接编辑 robots.txt 文件。