什么是抓取预算，以及如何针对SEO对其进行优化?

　　如果您想完全控制网站的运行状况，那么了解搜索预算的含义以及如何针对SEO对其进行优化非常重要。

　　这是一门技术性很强的主题，这就是为什么大多数网站管理员倾向于避免使用它，但是不必一定要这样。

　　在本指南中，您将以简单的语言学习什么是爬网预算(以及爬网率，爬网统计信息等相关术语)，它如何影响SEO以及您可以采取哪些措施对其进行优化。

　　什么是抓取预算?

　　抓取预算不是一个单一的数字，而是一个通用术语，用于描述百度在给定时间段内从特定网站抓取和抓取页面的频率和数量。

　　影响抓取预算的因素包括网站和导航结构，重复的内容(网站内)，软404错误，低价值网页，网站速度和黑客问题。

　　为什么搜索预算对SEO很重要?

　　从一开始就应该强调爬网不是排名信号。

　　这意味着爬网不会直接影响页面在自然搜索结果中出现的位置。

　　但是搜索和搜索预算对于SEO很重要，因为：

　　如果搜索引擎未将页面编入索引，则任何搜索都不会显示该页面

　　如果网站上有很多页面，则百度可能不会将所有页面都编入索引(这就是为什么需要优化抓取预算的原因-有关此内容的更多信息，请参见下文)

　　对页面所做的更改显示的速度可能不如在搜索结果中显示的那么快。

　　什么是抓取预算优化?

　　抓取预算优化是检查并确保搜索引擎可以及时抓取网站的所有重要页面并为其编制索引的过程。

　　对于小型网站，抓取预算优化通常不是问题，但是对于具有数千个URL的大型网站而言，抓取预算更重要。

　　不过，正如您将在下面阅读的那样，优化抓取预算的方法是遵循SEO最佳做法，这也对您的排名产生积极影响。

　　专家提示：如果您不熟悉“检索”和“编制索引”这两个术语，则强烈建议您阅读搜索引擎工作原理。这将帮助您了解什么对SEO至关重要的爬网和索引编制。

　　如何优化您的SEO抓取预算

　　请按照以下10条提示优化SEO的抓取预算。

　　1) 提供分层的网站结构

　　2) 优化内部链接

　　3) 提高您的网站速度

　　4) 解决重复的内容问题

　　5) 摆脱薄内容

　　6) 修复Soft 404错误

　　7) 修复抓取错误

　　8) 避免重定向过多

　　9) 确保您没有被黑的页面

　　10) 提高您网站的声誉(网站外链)

　　1.提供分级的网站结构

　　当搜索引擎爬网程序访问站点时，它们从首页开始，然后单击任何链接以发现，爬网和索引所有网站页面。

　　具有不超过3个级别的层次结构的网站结构是任何类型网站的理想结构。

　　2.优化内部链接

　　对于任何类型的网站，搜索引擎都希望为网站的最重要页面赋予更高的优先级(涉及到爬网和建立索引时)。

　　他们用来标识网站重要页面的方法之一是该页面具有的网站外链和内部链接的数量。

　　网站外链更重要，但更难获得，而任何网站管理员都可以轻松地优化其内部链接。

　　以有助于抓取预算的方式优化内部链接意味着：

　　确保您网站上最有价值的页面具有最多数量的内部链接。

　　您所有重要的页面都链接到主页

　　您网站的所有页面至少都有一个指向它们的内部链接。

　　网站上没有内部或网站外链的页面(也称为“孤立页面”)会使搜索引擎机器人的工作更加困难，并且浪费您的抓取预算。

　　3.提高您的网站速度

　　速度是重要的排名因素，巨大的可用性因素和影响爬网预算的因素。

　　简而言之，当网站加载速度很快时，百度蜘蛛可以在更少的时间内抓取同一网站的更多页面。这表明网站基础设施良好，并鼓励爬网程序从特定网站获取更多内容。

　　4.解决重复的内容问题

　　可能对爬网预算产生负面影响的因素之一是现场重复内容。

　　在这种情况下，重复内容是相同或非常相似的内容，出现在您网站上的多个URL中。

　　这是电子商务类别页面中的一个非常常见的问题，在该页面中，相似的产品在多个类别中列出。

　　除电子商务网站外，博客还可能存在重复内容的问题。例如，如果您有多个针对相同关键字的页面，并且这些页面上的内容相似，则百度可能会将其视为重复内容。

　　重复内容如何影响检索预算?

　　这使百度蜘蛛的工作更加困难，因为它必须决定要索引的页面。

　　搜索资源会浪费在百度最终将其标记为重复内容的页面上。

　　对站点更有价值的页面可能无法建立索引，因为可能已达到对爬行的速度限制并为重复的内容页面建立索引。

　　如何解决重复内容的问题?

　　解决重复内容问题的最佳方法是：

　　使用规范URL为网站上的每个页面指定首选URL。

　　使用robots.txt和noindex指令阻止搜索引擎漫游器访问重复内容页面并将其编入索引。

　　优化您的XML站点地图，以指定内容来帮助搜索引擎从站点中识别哪些页面应被赋予优先级。

　　5.摆脱薄内容

　　与重复内容类似，另一个可能影响抓取预算的因素是内容薄页面。

　　稀疏内容是您网站上的页面内容很少或根本没有，也没有为用户增加任何价值。它们也称为低质量页面或低价值页面。

　　例如，没有文本内容的页面，空白页面或不再与搜索引擎和用户都相关的旧发布页面。

　　要优化您的抓取预算，您应该通过以下方法查找和修复精简内容页面：

　　移除它们

　　增强其内容以为用户增加价值并重新发布

　　阻止它们进入搜索引擎(不对它们进行索引)

　　将它们重定向到您网站上另一个更有价值的页面

　　通过执行上述任何操作，将在对您的网站很重要的页面上分配爬网时间。

　　6.修复404错误

　　出现软404错误的原因有很多，要找出确切原因并不总是那么容易。

　　最常见的是HTTP服务器配置错误，网站加载速度慢以及网站上有很多精简内容页面。

　　软404错误(与普通404错误相比)的问题在于，软404错误会浪费您的抓取预算，因为搜索引擎抓取工具会将这些页面保留在其索引中并尝试重新抓取它们。

　　处理软404错误并优化抓取预算的最佳方法是登录百度搜索控制台并查看Coverage错误报告。

　　单击“提交的URL似乎是一个软404”，以查看并修复受影响的页面列表。

　　7.修正抓取错误

　　增加抓取预算的另一种方法是减少抓取错误的数量。将时间花在最初不应该存在的错误上是浪费时间。

　　最简单的方法是使用百度搜索控制台“索引覆盖率报告”来查找和修复爬网错误。

　　8.避免重定向过多

　　另一个可能减慢百度抓取网站频率的问题是重定向过多。

　　重定向是解决重复内容问题和404错误的一种好方法，但应注意不要创建重定向链。

　　当百度蜘蛛找到301重定向时，它可能不会立即抓取重定向的URL，但会添加到要从特定站点抓取的URL列表中。如果将URL重定向到URL，然后将该URL重定向到新URL，则这会使过程复杂化，并降低爬网速度。

　　检查您的.htaccess并确保您没有任何不必要的重定向，并且任何301重定向都仅指向最终目标(避免使用同一URL的中间目标)。

　　9.确保您没有被黑客入侵的页面

　　被黑客入侵的网站比抓取预算要担心的事情要多得多，但是您应该知道被黑客入侵的网页如何影响抓取预算。

　　如果您的网站在不知情的情况下被黑客入侵了一段时间，这将大大减少您的抓取预算。百度将失去对该网站的信任，并减少对该网站的索引。

　　为避免这种不愉快的情况，您可以使用安全服务来监视您的网站并定期检查百度 Search Console的“安全问题”报告(位于“安全”和“手动”操作下)。

　　10.提高您网站的声誉(网站外链)

　　受欢迎的URL往往会被搜索引擎更频繁地抓取，因为它们希望保持其内容在索引中保持新鲜。

　　在SEO世界中，区分受欢迎页面和最不受欢迎页面的最大因素是反向链接的数量和类型。

　　反向链接有助于建立与搜索引擎的信任度，改善页面的PageRank和权限，最终导致更高的排名。

　　这是多年未变的基本SEO概念之一。

　　因此，拥有包含来自其他网站的链接的页面将鼓励搜索引擎更频繁地访问这些页面，从而导致抓取预算增加。

　　从其他网站获取链接并不容易，实际上，这是SEO的最困难的方面之一，但是这样做可以使您的域名更强大并改善您的整体SEO。

　　优化SEO的抓取预算与优化技术SEO的网站的过程相同。您可以做出的任何改善网站可用性和可访问性的工作，对于您的抓取预算，用户和SEO都有利。

　　但是，每一个小步骤都可以帮助SEO，而在进行抓取预算优化时，最重要的步骤就是摆脱抓取和编制索引错误。这些错误会浪费您不断攀升的预算，解决这些错误将有助于您网站的整体健康。

　　网站速度，重复内容和网站外链等其他因素可以提高网站在搜索引擎中的可见度 ，这意味着更高的排名和更多的自然流量。

　　最后，不时查看爬网统计信息报告以发现并调查爬网速率的任何突然下降或上升是一个很好的做法。