网蜘蛛，这是名称的非常象征。隐喻到蜘蛛网，然后蜘蛛是蜘蛛从互联网上攀爬。Web Spider正在通过网页的链接地址查找网页。从网站上的页面（通常是家庭）开始，阅读网页的内容，查找网页中的其他链接地址，然后通过这些链接地址查找下一个网页。这总是循环，直到捕获本网站的所有网页。如果整个互联网被视为网站，然后，Web蜘蛛可以使用此原则来抓住互联网上的所有页面。

　　对于搜索引擎，互联网上的所有网页几乎是不可能的。从当前宣布的数据，更大的搜索引擎， 但也占据了整个网页数量的40％。这是裂解技术的瓶颈。无法遍历所有页面，只有许多网页无法找到其他页面的链接; 另一个原因是存储技术和处理技术问题，如果根据每个页面计算平均大小（包括图片），100亿个网页的容量为100×2000g字节。即使你可以存放它，下载也有一个问题（根据一台机器下载每秒20k计算， 下载340台机器一年，你能下载所有的网页吗？同时，由于数据量太大，提供搜索时会有高效的效果。所以，许多搜索引擎在线景点只是抓住那些重要的网页，评估在制作时重视的主要基础是页面的链路深度。

　　当我抓住网页时，网络蜘蛛通常有两种策略：广度优先和深度优先级（如下所示）。

　　父项意味着Web Spider将首先捕获起始网页中链路的所有页面。然后选择其中一个链接，继续捕获与此页面相关联的所有网页。这是最常见的方式，因为此方法允许网络蜘蛛并行，提高抢占速度。深度优先于Web Spider将从起始页面开始，链接是跟踪的链接，处理此路线后， 转网站开发移到下一个起始页面，继续跟踪链接。该方法具有以下优点，即在设计时，网络蜘蛛更容易。两种策略之间的差异，下图的描述将更清晰。

　　因为无法捕获所有网页，一些网络蜘蛛不太重要的网站，设置访问的图层数。E.G，在上图中，a是起企业网站的建设公司始页面，属于0层，B， C， D， e， f属于层，G， h属于二楼，我属于三楼。如果网络蜘蛛设置的访问层数为2，则我将无法访问网页。这也允许某些网站上的某些网页搜索搜索引擎，另一部分无法搜索。对于网站设计师，扁平的Web结构设计有助于搜索引擎抓取更多。

　　网络蜘蛛是访问网站网页时，我经常遇到加密的数据和Web权限。访问它们需要某些网页。当然，网站的所有者可以使网络蜘蛛不抓住（下一个小部分将被引入）。但对于一些网站销售的报告，他们希望搜索引擎搜索他们的报告，但是通过让搜索无法完成搜索，这需要提供网络蜘蛛来提供相应的用户名和密码。Web Spider可以通过给定的权限捕获这些网页。从而提供搜索。搜索者单击以查看页面时，它还需要搜索者提供相应的权限验证。