应该了解的网络爬虫分类和策略

　　随着互联网的发展，人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西，为了满足不同的人的不同需求，于是出现了网络爬虫，网络爬虫，是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中，网络爬虫就是搜索引擎发现和抓取文档的自动化程序，今天2898站长资源平台小编就带大家来了解网络爬虫的分类和策略是什么，一起来看看吧。

　　网络爬虫有很多种类，简单介绍以下几种：

　　1: 通用网络爬虫

　　通用网络爬虫，又称为“全网爬虫”，从一些种子网站开始爬行，逐步扩展到整个互联网。

　　通用网络爬虫策略：深度优先策略和广度优先策略。

　　2: 聚焦网络爬虫

　　聚焦网络爬虫，又称为“主题网络爬虫”，预先选择一个（或几个）相关主题，仅爬行并抓取这一类的相关页面。

　　聚焦网络爬虫策略：聚焦网络爬虫增加了链接和内容评价模块，所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。

　　3: 增量式网络爬虫

　　增量式网络爬虫，是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。

　　增量式网络爬虫策略：广度优先策略和PageRank优先策略等。

　　4: Deep Web爬虫

　　搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”，某些不能通过静态链接获得的页面称之为“深层网页”，Deep Web爬虫就是抓取深层网页的爬虫体系。

　　网络爬虫抓取策略一般分为三种：

　　a、广度优先

　　搜索完当前页面所有链接，才开始进入下一层。

　　b、最佳优先

　　根据一定的网页分析算法，比如链接算法和页面加权算法等，优先抓取更具有价值的页面。

　　c、深度优先

　　顺着一个链接一直爬行，直到某一页面再也没有链接，再开始爬行另外一条。但是一般都是从种子网站开始抓取，如果采用这种形式可能会造成抓取的页面质量越来越低，所以这种策略使用较少。

　　总结： 以上就是2898站长资源平台小编跟大家分享的网络爬虫的分类和策略，希望对大家有帮助，更多相关内容，请继续关注2898站长资源平台。