搜索引擎是如何抓取索引您的网站

　　如果您曾经想过搜索引擎如何找到您的网站，答案很简单：它们发出搜索引擎蜘蛛。搜索引擎旨在模仿人类用户与您的网站的交互方式，可查看您内容的结构并将其重新编入索引。

　　当您建立网站以使这些网络蜘蛛爬虫更轻松地查找和解析重要信息时，您不仅在设置网站以获得更高的排名;您也在为人类用户打造无缝体验。

　　本文深入探究了Web爬网程序的基本功能-分解了您将遇到的各种类型的爬网程序，它们的工作方式以及可以为它们优化站点的方法。

　　归根结底，每个爬虫的工作都是尽可能多地了解您的网站所提供的内容。提高该流程的效率可确保您始终在SERP中始终呈现最新内容。

　　什么是搜索引擎抓取工具?

　　搜索引擎(也称为网络蜘蛛爬虫或蜘蛛)是搜索引擎用来查看您的网站内容的自动化程序。在复杂算法的指导下，他们系统地浏览互联网以访问现有网页并发现新内容。从您的网站捕获数据后，网络爬虫会将其带回到各自的搜索引擎进行索引

　　在此过程中，搜索引擎会查看网站中每个页面的HTML，内部链接和结构元素。然后将这些信息捆绑在一起，并整理成您的网站所能提供的全面信息。

　　搜索引擎抓取工具如何工作?

　　搜索引擎会定期发送这些网络蜘蛛爬虫以抓取和重新抓取您的网站。抓取工具查看您的网站时，他们会按照robots.txt文件和站点地图定义的规则和结构进行有条理的检查。这些元素为搜索引擎提供了有关要查看的页面和要忽略的页面的说明，并且它们提供有关网站组成的最新信息。

　　当搜索引擎进入您的网站时，它首先看到的是您的robots.txt文件。该文件分解了应该爬网和不应该爬网的特定规则。如果设置不正确，则抓取您的网站将会出现问题，并且将无法编制索引。

　　您需要在robots.txt文件中注意的两个主要功能是allow和disallow：

　　Allow：设置允许的URL 意味着网络爬虫会将它们带回以进行索引。

　　Disallow：将URL设置为禁止意味着网络爬虫将忽略它们。

　　您创建的大多数内容应设置为允许-仅应忽略私人页面，例如用户帐户或包含个人信息的团队页面。

　　在指定了网站爬网程序可以访问的网站部分之后，它们将遍历您的内容和链接结构以解析网站的基础框架。为了使该过程更有效率，抓取工具会审核您的站点地图。

　　一个网站地图是一个XML文件，该文件列出了每一个URL您的网站包含的内容。它提供了每个页面的结构概述，并引导搜索引擎爬网程序尽快高效地通过您的网站。您的站点地图还可用于为网站的某些页面分配优先级，告诉抓取工具您认为最重要的内容。这样做是在告诉搜索引擎提高排名的重要性。

　　将网络爬虫视为制图师或探索者，其目标是绘制新发现的陆地的每个角落。他们的探险队可能看起来像这样：

　　1) 搜寻者从搜索引擎开始，为自己的旅程做准备。

　　2) 他们冒险前往互联网的每个角落以寻找数据(网站)以填写地图。

　　3) 搜索引擎蜘蛛使用robots.txt和Sitemaps文件浏览网站内容，以全面了解网站内容。

　　爬虫将自己在旅途中所学的知识带回搜索引擎。

　　然后，他们将有关您网站的任何新信息添加到搜索引擎的主地图，然后将其用于根据许多不同因素对内容进行索引和排名。

　　从那里开始，爬虫一次又一次，一次又一次地完成所有操作。

　　互联网上的网站日新月异，网络爬虫必须定期执行这些步骤，以确保它们拥有最新的信息。为了做到这一点，大多数爬虫都会每隔几秒钟检查一次您的网站，以确保您所做的任何更新都可以在SERP中被迅速索引，排名并呈现给搜索者。

　　在建立或更新网站时，请考虑可以采取哪些措施使抓取工具尽可能轻松地填写其地图。

　　前5名搜寻引擎搜索引擎

　　地球上的每个主要搜索引擎都有一个专有的网络搜索引擎。虽然每个人在功能上执行相同的任务，但是每个人对网站的爬网方式都有细微的差异。了解这些差异将帮助您建立适合每个搜索引擎的网站。

　　Googlebot

　　作为世界上最受欢迎的搜索引擎，Google的协议是大多数爬虫程序的标准。他们的搜索引擎，即同名的Googlebot，实际上是由两个单独的搜索引擎程序组成的，其中一个模拟了桌面用户，一个模拟了移动用户，分别称为Googlebot桌面和Googlebot智能手机。两种网络蜘蛛爬虫都会大约每隔几秒钟爬一次您的网站。

　　根据尼尔·帕特尔(Neil Patel)的说法，可以为Googlebot优化网站的最佳方法之一就是保持简单：“ Googlebot不会抓取JavaScript，框架，DHTML，Flash和Ajax内容以及出色的HTML。 ” 以这种方式构建网站也可以大大简化读者的体验-格式正确的HTML代码比其他协议可以更快，更可靠地呈现。

　　这意味着您的网站将运行得更快，这是Google在对您的网站进行排名时所看好的信号。通过优化网站的可爬网性，您还可以提高其排名潜力。在阅读其他搜索引擎爬网程序如何查看您的网站时，请记住这一点。可以调整您的网站结构以直接吸引每个人。接下来，Bingbot。

　　宾宝

　　Bing的主要网络爬网称为Bingbot(您将在此处看到一个带有名称的主题)。他们也有分别称为AdIdxBot和BingPreview的搜索引擎，分别用于广告和预览页面。但是，与Google不同，Bing没有针对移动网站的单独抓取工具。

　　虽然Bingbot遵循许多与Google相同的标准，但是在Bing爬行网站的方式和时间方面，您确实拥有一些其他控制权。Bing将基于专有算法优化其爬网时间，但允许您使用其“ 爬网控制”工具来调整这些时间。

　　此控件可确保您在传入流量很高时不会遇到任何站点速度问题。Bing在其网站站长指南中还提供了许多有关如何进行此过程的信息。

　　学习这些指南可帮助您根据其爬网程序定制站点，从而帮助您增加访问量并为访问者建立更好的体验。当您了解了Bing如何使用其网络抓取工具时，它还可以帮助您了解我们的下一个搜索引擎。

　　鸭鸭

　　DuckDuckBot是具有隐私意识的搜索引擎DuckDuckGo的搜索引擎程序。尽管DuckDuckGo使用Bing的API来显示相关的搜索结果以及大约400个其他来源，但其专有的抓取工具仍会执行一些检查您的网站的工作。

　　他们的搜索引擎的主要区别在于，它会优先考虑最安全的网站。毫无疑问，您应该在网站上使用安全的SSL协议，但从安全性和SEO收益两方面来看，DuckDuckBot都将安全性视为最重要的排名因素。

　　如果您要定位DuckDuckGo中的排名，那么要了解如何使您的网站尽可能安全。这意味着放弃任何侵入性的跟踪JavaScript或数据挖掘广告平台。但是，如果您的目标受众是安全/隐私主义者，那将是有益的。

　　请记住，如果不小心，在特定平台上进行搜索排名可能会很麻烦。您不想通过过于狭窄的定位来深入了解您的网站。

　　百度蜘蛛

　　Baiduspider是中文搜索引擎百度的网络爬虫。当您在追求特定的国际受众时，通常会考虑一些问题，而Baiduspider是网络上最常见的网站爬网程序之一。他们还具有如何读取robots.txt文件的特定规则。

　　在为Baiduspider创建robots.txt文件时，您可以为您的网站编制索引，同时可以阻止以下功能：

　　1) 跟随页面上的链接

　　2) 缓存结果页面

　　查看图像

　　这种特异性为您提供了比我们今天谈论的许多其他爬虫更多的控制权。百度还告诉我们，他们使用许多不同的代理来爬网特定种类的内容。这使您能够根据您认为正在主动抓取您的网站的网络蜘蛛爬虫来创建更具针对性的规则。

　　Yandexbot

　　Yandexbot是俄罗斯搜索引擎Yandex的搜索引擎。与Baidubot相似，它们对整个Internet使用相同的搜索引擎，对于特定的内容类型使用不同的代理。最重要的是，您可以将一些特定的标签添加到您的站点中，以使Yandex更易于索引。

　　这些跟踪标签中最突出的是Yandex.Metrica。使用此标签，您可以直接提高Yandex的爬网速度。将其链接到您的Yandex网站管理员帐户将使此步骤更进一步，从而进一步提高了速度。

　　当您考虑如何使用网站的基础结构来定位特定的爬网程序时，请考虑每个爬网程序都在寻找或多或少相同的东西，并对其进行了一些细微的调整。根据我们在“搜索引擎抓取工具如何工作?”中讨论的规则，构建一个逻辑合理的网站。版块，并且易于交互，将确保您从这个角度来看具有最大的排名潜力。

　　针对搜索引擎抓取工具优化您的网站

　　抓取者会采用非常系统的方法来审查您的网站。了解他们如何收集信息并将其带回索引可帮助您提高排名潜力。在此过程中的任何失误不仅会损害您的排名，还会使您的网站对搜索引擎不可见。

　　您需要做的最重要的事情是创建标准化的robots.txt文件和最新的站点地图。这样可以确保根据robots.txt磁贴仅对您网站的正确页面进行爬网。而且，您将始终能够在站点地图中展示正确的链接结构和优先级。

　　只要确保您使用的是基于网站提供商的正确URL结构即可。

　　对于您将遇到的大多数网络蜘蛛爬虫，爬网率将根据搜索引擎算法中的特定规则进行优化。但是，如果有机会，请再次检查这些爬网率始终是一个好主意。Bing，DuckDuckGo和Baidu都提供了根据最适合您的网站的方式来查看和更新​​爬网率的工具。如果您的网站在工作日早晨收到大量流量，则可以通过调整爬网速度来告诉爬网程序在这些时间段放慢速度，并在深夜进行更多爬网。

　　使用此逻辑，您可以计划您的发布时间表，以在爬网程序执行任务之前创建面向公众的内容。这样，您将确保尽快对创建的每个新页面进行爬网，索引和排名。

　　确保这种爬网效率水平的另一种方法是利用内部链接。当您以逻辑和直接的方式将相似的页面连接在一起时，它为爬网程序提供了一种简便的方法来更快地浏览内容。这样一来，他们就可以更全面地了解您网站的整体价值。

　　也不要忘记外部链接的机会。当您从具有更大权限或更长使用期限的域中链接到网络时，它将为抓取工具提供一个确保您的页面尽可能最新的理由。其中许多程序会优先考虑具有较高排名和域名实力的网站，因此，您能够获得的链接越好，您的网站就越有吸引力。

　　抓取是使您的内容在搜索引擎中排名较高的第一步。简化流程很重要，这样，任何访问您网站的搜索引擎抓取工具都可以快速解析该结构，然后返回首页将其添加到索引中。从那里开始，您距离将网站加入SERP更加近了一步。

　　最后，当搜索引擎抓取工具查看您的网站时，他们的操作方式与用户的操作大致相同。如果难以正确解析数据，则可以设置较差的排名。通过对这些爬网程序遵循的基本技术和协议有深刻的了解，您就可以优化站点，从而从一开始就更好地排名。

　　从SEO角度来看，优化页面的可爬网性可能也是您可以在网站上进行的最简单的技术更改之一。只要您的站点地图和robots.txt文件正确无误，您所做的任何更改都会尽快出现在SERP中。