对于追求“热门话题”的网站,经常会出现一个问题:如何让Google更快地抓取我们的网站?这可能是因为您的网站很大,想更快地查看更改,也可能是因为您正在优化新闻网站。您可以采取一些措施来提高抓取速度。我们将在这篇文章中介绍它们。
Google搜寻您的网站时速度缓慢的原因可能有两个。第一个似乎很明显:如果Google找不到指向您网站的足够(质量)链接,则认为您的网站不是很重要。另一个原因是技术因素:Google在您的网站上抓取的内容太多,您的网站速度太慢或遇到太多的错误。
一、您的网站外链不足
如果您的网站没有足够质量的入站链接,则Google不会很快抓取您的网站。您可以想象它不一定要在不重要的网站上花费很多时间。当您的网站是全新的时,情况就是如此,因此,当您需要在网站上执行更多爬网操作时,请开始进行一些链接构建
二、缓慢爬行的技术原因
Google缓慢抓取您的网站的技术原因可分为三类:您的网站太慢,错误太多或URL太多。
您的服务器运行缓慢
我们看到Google缓慢爬行网站的主要原因是网站本身实际上运行缓慢。如果您的网站响应请求的速度很慢,或者加载了大量的资源,则Google可能会故意降低其抓取频率和深度(或限制您的抓取预算),以防止出现问题。
如果是这样,您可能在网站速度方面遇到了较大的问题,应该仔细阅读如何衡量网站速度以及如何加快速度!
您网站上的错误太多
如果您的网站上有很多针对Google的错误,则Google也会开始缓慢爬行。为了加快抓取过程,请修复这些错误。只需301,即可将这些错误页面重定向到您网站上的相应网址。如果您不知道在哪里找到这些错误:登录Google Search Console。如果您有权访问站点的访问日志,则还可以查看这些日志,最好使用Screaming Frog的Log文件分析器之类的工具。为了防止缓慢爬行您的网站,定期检查并修复错误很重要。我们提供了有关修复404错误的更多 文章,以帮助您解决这一问题。
当您的网站经常关闭时,Google的运行速度也会非常慢。如果由于您的托管而发生这种情况,请切换托管。确保使用Pingdom之类的工具检查您站点的正常运行时间。
网址过多
如果您的网站上的URL太多,则Google可能会抓取很多内容,但永远不够。发生这种情况的原因是,例如,分面的搜索导航,或者站点上的另一个系统仅生成了太多的URL。为了弄清楚这是否适合您,定期爬网自己的站点总是明智的。您可以使用Screaming Frog的SEO蜘蛛手动进行操作,也可以使用Ryte之类的工具进行操作。
提高抓取速度的技巧
几个简单的技巧可提高网站的抓取速度:
1.使用以上方法,查找并修复所有错误。
2.确保您的网站运行 速度很快。
3.将XML网站地图添加到您的网站,然后将其提交给搜索引擎。
4.如果所有这些都不能提高您的抓取速度,请开始建立链接!