群集爬虫（英文 ：Web Crawler或Spider）又称为群集蜘蛛、网页蜘蛛或群集机械人 ，甚意思详事理是解群集爬及搜一种屈就必定轨则，主动地抓取互联网信息的虫的策法度圭表类型或脚本 。群集爬虫是分类为搜刮引擎从万维网凹凸载网页的法度圭表类型，是构成工作刮计搜刮引擎的次要构成 。传统爬虫从一个或若干很多若干个初始网页上的群集URL最早 ，掉落踪掉落踪初始网页上的爬虫URL ，在抓取网页的甚意思详事理过程中 ，不竭从往后页面上抽取新的解群集爬及搜URL放举办列 ，直到知足琐细的虫的策必定停止前提 。
群集爬虫屈就琐细筹划和完成技能，除夜致可以分为以下几种圭表类型 ：通用群集爬虫(General PURpose Web Crawler) 、群集聚焦群集爬虫(Focused Web Crawler) 、增量式群集爬虫(Incremental Web Crawler) 、深度爬虫(Deep Web Crawler) 。 理论的群集爬虫琐细但凡是几种爬虫技能相连络完成的 。
1 、通用群集爬虫
通用群集爬虫又称全网爬虫(Scalable Web Crawler) ，蒲伏对象从一些种子 URL 扩大年夜大年夜到全数 Web，次要为门户站点搜刮引擎和除夜型 Web 处事供给商群集数据。 因为贸易启事 ，它们的技能细节很少宣布出来 。 这类群集爬虫的蒲伏局限和数量宏除夜 ，对蒲伏速度和存储空间请求较高 ，对蒲伏页面的挨重请求绝对较低，同时因为待更始的页面太多 ，但凡采取并行工作编制 ，但需求较长时分才调更始一次页面 。 当然存在必定偏向 ，但通用群集爬虫合用于搜刮引擎搜刮普及的主题 ，有较强的独霸价值。
*通用爬虫的工作流程
通用爬虫次要存在以下几方面的局限性 ：
（1） 、因为抓取方针是尽大年夜大年夜约除夜的袒护群集 ，所以蒲伏的下场中包含除夜量用户不须要的网页；
（2） 、不克不及很好地搜刮和获守信息含量鳞集且具有必定筹划的数据；
（3） 、通用搜刮引擎除夜多是基于关头字的检索 ，对支撑语义信息的查询和索引擎智能化的请求难以完成 。
通用爬虫的方针：抓取全网数据 ，构建搜刮引擎的网页索引（如 Googlebot 、百度蜘蛛） 。
通用爬虫的特点 ：抓取局限广 、数据量除夜，需措置海量 URL 和反爬机制 ，对功用请求高 。
2 、聚焦群集爬虫（主题爬虫）
聚焦群集爬虫(Focused Crawler) ，又称主题群集爬虫(Topical Crawler) ，是指选择性地蒲伏那些与过后定义好的主题相干页面的群集爬虫 。 和通用群集爬虫比照，聚焦爬虫只需求蒲伏与主题相干的页面，极除夜地俭仆了硬件和群集成本，保管的页面也因为数量少而更新快 ，还可以很好地知足一些特定人群对特定局限信息的需求 。
聚焦爬虫的方针 ：仅抓取特定主题或局限的数据（如电商平台抓取竞品价值 、旧事网站监控行业静态）。
聚焦爬虫的特点 ：经由过程关头词婚配、网页内容分化等编制精准定位方针数据 ，促进有效抓取 。
（1） 、主题爬虫事理
主题爬虫真实不寻求除夜的袒护率 ，也不是全盘领受全数的网页和URL ，它屈就既定的抓取方针 ，有选择的访谒万维网上的网页与相干的链接 ，掉落踪掉落踪所需求的信息，不单客服了通用爬虫存在的问题 ，而H-前去的数据成本更切确 。主题爬虫的基身手情事理是屈就过后断定的主题，分化超链接和 刚才抓取的网页内容 ，掉落踪掉落踪下一个要蒲伏的URL ，尽大年夜大年夜约担保多蒲伏与主题相干的网页 ，是以主题爬虫要措置以下关头问题：1)若何剖断一个已抓取的网页是 否与主题相干；2)若何过滤损掉落踪落海量的网页中与主题不相干的或相干度较低的网页；3)若何无方针 、有独霸的抓取与特定主题相干的web页面信息；4)若何 决意待访谒URL的访谒挨次递次；5)若何进步主题爬虫的袒护度；6)若何调和抓取方针的描摹或定义与网页分化算法及候选URL排序算法之问的相干；7)若何 寻觅和创作创造高质量网页和关头成本 。高质量网页和关头成本不单可以除夜除夜进步主题爬虫聚积Web页面的屈就和质量 ，还可感应主题展示模型的优化等独霸供给支撑 。
(2) 、主题爬虫模块筹划
主题爬虫的方针是尽大年夜大年夜约多的创作创造和聚积与预定主题相干的网页，其最除夜特点在于具有分化网页内容和分辨主题相干度的身手 。屈就主题爬虫的 工作事理 ，上面筹划了一个主题爬虫琐细 ，次要有页面群集模块 、页面分化模块 、相干度筹算模块 、页面过滤模块和链接排序模块几部分构成 ，其集团后果模块筹划 如图2所示 。
页面群集模块 ：主假定屈就待访谒URL行列举办页面下载，再交给网页分化模型措置以抽取网页主题向量空间模型 。该模块是任何爬虫琐细都必不成少的模块。页面分化模块 ：该模块的下场是对群集到的页面举办分化，次要用于邻接超链接排序模块和页面相干度筹算模块 。
页面相干度筹算模块 ：该模块是全数琐细的中心模块，次要用于评价与主题的相干度，并供给相干的蒲伏计策用以带领爬虫的蒲伏过程。URL 的超链接评价得分越高 ，蒲伏的优先级就越高 。其次要思惟是 ，在琐细蒲伏之前 ，页面相干度筹算模块屈就用户输进的关头字和初始文本信息举办进修 ，操练一个页 面相干度评价模型。当一个被认为是主题相干的页面蒲伏上往此后 ，该页面就被送进页面相干度评价器筹算其主题相干度值 ，若该值除夜于或等于给定的某阂值 ，则该 页面就被存进页面库，不然扔掉落踪¨ 。页面过滤模块 ：过滤损掉落踪落与主题有关的链接 ，同时将该URL及其全数隐含的子链接一并往除 。经由过程过滤 ，爬虫就无需遍历与主题 不相干的页面 ，从而担保了蒲伏屈就 。排序模块 ：将过滤后页面屈就优先级凹凸介入到待访谒的URL行列里 。
（3） 、主题爬虫流程筹划
主题爬虫需求屈就必定的网页分化算法 ，过滤损掉落踪落与主题有关的链接 ，保管有效的链接并将其放进等待抓取的URL行列 。然后，它会屈就必定的 搜刮计策从待抓取的行列被选择下一个要抓取的URL ，并几回上述过程 ，直到知足琐细停止前提为止。全数被抓取网页都邑被琐细存储 ，经由必定的分化 、过滤， 然后创建索引 ，以便用户查询和检索；这一过程所掉落踪掉落踪的分化下场可以对往后的抓取过程供给回响和带领 。
*主题爬虫的工作流程
聚焦群集爬虫和通用群集爬虫比照，添加了链接评价模块和内容评价模块 。聚焦爬虫蒲伏计策完成的关头是评价页面内容和链接的次要性 ，不合的编制筹算出的次要性不合 ，由此招致链接的访谒按序也不合。
3、增量式群集爬虫
增量式群集爬虫(Incremental Web Crawler)是指对已下载网页采取增量式更新和只蒲伏新产生发火的或已产生发火改削网页的爬虫 ，它可以在必定程度上担保所蒲伏的页面是尽大年夜大年夜约新的页面 。 和周期性蒲伏和更始页面的群集爬虫比照 ，增量式爬虫只会在需求的时辰蒲伏新产生发火或产生发火更新的页面 ，真实不从头下载没有产生发火改削的页面 ，可有效增加数据下载量 ，及时更新已蒲伏的网页 ，促进时分和空间上的破钞 ，可是添加了蒲伏算法的宏壮度和完成难度 。增量式群集爬虫的琐细筹划[包含蒲伏模块 、排序模块 、更新模块 、外埠页面集 、蒲伏 URL 集和外埠页面URL 集] 。
增量式爬虫有两个方针 ：贯穿连接外埠页面集滚存储的页面为最新页面和进步外埠页面集结页面的质量 。 为了完成第一个方针 ，增量式爬虫需求经由过程从头访谒网页来更新外埠页面内容，经常独霸的编制有：
(1) 、不合更新法：爬虫以不异的频率访谒全数网页 ，不思虑网页的改削频率；
(2) 、浅近更新法：爬虫屈就浅近网页的改削频率来从头访谒各页面；
(3) 、基于分类的更新法 ：爬虫屈就网页改削频率将其分为更新较快网页子集和更新较慢网页子集两类，然后以不合的频率访谒这两类网页。
增量式爬虫的方针 ：活期更新已抓取数据 ，只掉落踪掉落踪网页中新增或改削的内容（如旧事网站更新文章、电商平台商品库存改削） 。
增量式爬虫的特点：经由过程比照汗青数据 ，阻拦几回抓取，俭仆成本 。
4 、Deep Web爬虫(深度爬虫)
Web 页面按存在编制可以分为表层网页(Su***ce Web)和深层网页(Deep Web ，也称 Invisible Web Pages 或 Hidden Web) 。 表层网页是指传统搜刮引擎可以索引的页面 ，以超链接可以抵达的静态网页构成的 Web 页面 。Deep Web 是那些除夜部非分不凡容不克不及经由过程静态链接掉落踪掉落踪的 、湮没在搜刮表单后的，只需效户提交一些关头词才调掉落踪掉落踪的 Web 页面 。比如那些用户注册后内容才可见的网页就属于 Deep Web 。 2000 年 Bright Planet 指出 ：Deep Web 中可访谒信息容量是 Su***ce Web 的几百倍 ，是互联网上最除夜 、展开最快的新型信息成本 。
*深度爬虫流程图
Deep Web 爬虫琐细筹划包含六个根本下场模块 (蒲伏独霸器 、分析器 、表单分化器 、表单措置器 、照顾分化器 、LVS 独霸器)和两个爬虫内部数据筹划(URL 列表 、LVS 表)。 个中 LVS(Label Value Set)展示标签/数值集结 ，用来展示加添表单的数据源 。
深度爬虫的方针：抓取湮没在表单 、登录界面后的数据（如需求用户登录的论坛、数据库查询下场页面） 。
深度爬虫的特点：需模仿用户登录、填写表单等交互行动 ，技能宏壮度高（如独霸 Selenium 、Playwright 等对象） 。
在群集爬虫的琐细框架中 ，过程由独霸器 ，分析器 ，成本库三部分构成。独霸器的次要工作是担当给多线程中的各个爬虫线程分拨工作义务 。分析器的次要工作是下载网页 ，举办页面的措置 ，主假定将一些JS脚本标签 、CSS代码内容 、空格字符 、Html标签等外容措置损掉落踪落 ，爬虫的基身手情是由分析器完成 。成本库是用来存放下载的网页成本 ，一样往常都采取除夜型的数据库存储 ，并对其创建索引 。
1 、独霸器
独霸器是群集爬虫的中心独霸器，它主假定担当屈就琐细传过往的URL链接，分拨线程 ，然后启动线程调用爬虫爬取网页的过程。
2 、分析器
分析器是担当群集爬虫的次要部分，其担当的工作次要有 ：下载网页的下场 ，对网页的文本举办措置 ，过滤下场 ，抽掏出格HTML标签的下场 ，分化数据的下场 。
3 、成本库
主假定用来存储网页中下载上往的数据记实的容器 ，并供给生成索引的方针源 。中除夜型的数据库产品有 ：Oracle 、SQL Server等 。
为了进步工作屈就 ，通用群集爬虫会采取必定的蒲伏计策。 经常独霸的蒲伏计策有：IP地址搜刮计策 、深度优先计策及广度优先计策 。
1 、IP地址搜刮计策
IP地址搜刮计策是先给爬虫一个肇端的IP地址 ，然后屈就IP地址以递增的编制搜刮本IP地址段后的每个地址中的文档 ，它无缺不思虑各文档中指向此外Web站点的超等链接地址 。这类搜刮计策的益处是搜刮斗劲单方面 ，是以可以创作创造那些没被此外文档援引的新文档的信息源；可是偏向偏向是不契合除夜局限搜刮 。
2、深度优先计策 ：其根本编制是屈就深度由低到高的按序 ，按序访谒下一级网页链接，直到不克不及再深切为止 。 爬虫在完成一个蒲伏分支后前去到上一链接节点进一步搜刮此外链接 。 当全数链接遍历完成后 ，蒲伏义务停止。 这类计策斗劲契合垂直搜刮或站内搜刮 ，但蒲伏页面内容层次较深的站点时会构成成本的宏除夜华侈 。
3 、广度优先计策 ：此计策屈就网页内容目次层次深浅来蒲伏页面 ，处于较浅目次层次的页面起首被蒲伏 。 当不合层次中的页面蒲伏终了后 ，爬虫再深切下一层延续蒲伏。 这类计策可以有效独霸页面的蒲伏深度 ，阻拦碰着一个无量深层分支时没法停止蒲伏的问题 ，完成利便 ，无需存储除夜量中心节点，窘蹙的处地址于需求较长时分才调蒲伏到目次层次较深的页面 。
1、起首拔取一部分种子URL；
2 、将这些URL放进待抓取URL行列；
3 、从待抓取URL行列中掏出待抓取的URL,分析DNS ，掉落踪掉落踪主机的IP，并将URL对应的网页下载上往 ，存储到已下载网页库中 ，此外 ，将这些URL放进已抓取URL行列；
4、分化已抓取到的网页内容中的其他URL,并将URL放进待抓取URL行列 ，从而进进下一个轮回。
1 、搜刮引擎抓取网页信息
大年夜师经常独霸的搜刮引擎的次要工作流程就是独霸群集爬虫往爬取各个网站的页面 。以百度蜘蛛为例 ，一旦有网站的页面更新了 ，百度蜘蛛就会出动 ，然后把爬取的页面信息搬回百度 ，再举办多次的遴选和拾掇 。幻想在大年夜师搜刮相干信息的时辰 ，经由过程排名展示给大年夜师。可以说 ，没有群集爬虫 ，我们独霸搜刮引擎查询材料的时辰 ，就不会那么便捷、单方面和高效。
2 、爬取需求对数据举办统计
冷数据启动是丰富数据的次要对象 ，新营业最早时 ，因为刚起步 ，所以没有若干很多若干好大年夜大年夜大年夜大年夜都据 ，此时就需求爬取其他平台的数据来加添我们的营业数据 。比如说 ，假定我们想做一个近似群众点评多么的平台 ，一最早没有商户等信息 ，就需求往爬取群众 ，美团等商家的信息来加添数据，比如天眼查，企查查 ，西瓜数据等等 。
3 、出行类软件经由过程爬虫抢票
假定问群集爬虫技能独霸最多的局限是甚么？那必定是出行行业 。信赖每逢春运或是节假日，大年夜师都用过一些抢票的软件，就为了掉落踪掉落踪一张机票或是一张火车票 ，而这类出行类软件恰是独霸群集爬虫技能离开达抢票的方针 。像抢票软件多么的群集爬虫 ，会不竭地爬取交通出行的售票网站 ，一旦有票就会点击拍上往 ，放到本身的网站售卖 。假定必按时额定没有人采办 ，就会主动退票。然后又经由过程网站爬虫把票拍上往 ，到时分又延续退票 ，如斯几回轮回 。
4 、聚合平台整合信息举办斗劲。
如今 ，展示了良多比价平台 、聚合电商另有返利平台等 ，这类聚合平台的本质都是供给横向数据斗劲，聚合服 。比如说电商中经常需求有一种比价琐细 ，从各除夜电商平台 ，如拼多多 ，淘宝 ，京东等抓取不合个商品的价值信息 ，以给用户供给最实惠的商品价值，多么就需求独霸群集爬虫从各除夜电商平台爬守信息 。
1、Python 生态 ：
Requests/Urllib：根本 HTTP 请求库 ，契合复杂爬虫 。
BeautifulSoup/Scrapy Selector ：分析 HTML/XML 内容 。
Scrapy ：专业爬虫框架 ，支撑分布式抓取 ，契合除夜局限数据群集 。
Selenium/Playwright ：独霸不雅不雅不雅不雅鉴赏器模仿用户行动 ，应对静态网页 。
2 、Java/Scala ：
Apache Nutch ：开源搜刮引擎爬虫框架，支撑分布式抓取 。
WebMagic/WebCollector ：轻量级 Java 爬虫框架 ，易于扩大年夜大年夜大年夜大年夜 。
3 、其他对象 ：
Octoparse/Import.io ：无代码爬虫对象 ，契合非技能人员疾速群集数据 。
1、BaiduSpider（百度蜘蛛）
罕有的百度蜘蛛有 ：Baiduspider 和 Baiduspider-image（抓取图片） 。国际网站除夜除夜都流量都来自百度，所以推荐放行 。
百度另有此外几个蜘蛛 ：
Baiduspider-video（抓取视频）
Baiduspider-news（抓取旧事）
Baiduspider-mobile（抓取wap）
百度蜘蛛引见：http://www.百度.com/search/spider.html
2 、Googlebot（谷歌蜘蛛）
罕有的谷歌蜘蛛有：Googlebot ，另有一个 Googlebot-Mobile ，不是很罕有 ，看名字理应是抓取 wap 页面的 。全国第一除夜搜刮引擎 ，推荐放行 。
谷歌蜘蛛链接 ：http://www.谷歌.com/bot.html
3 、360Spider（360蜘蛛）
一个特别很是"用功抓爬"的蜘蛛 。
360蜘蛛IP ：https://www.so.com/help/spider_ip.html
4 、Sogou web spider（搜狗蜘蛛）
搜狗公司另有此外几个蜘蛛：Sogou News Spider 、Sogou inst spider 、Sogou spider2、Sogou blog 、Sogou Orion spider 、Sogou web spider 。
搜狗蜘蛛爬虫 ：http://www.sogou.com/docs/help/webmasters.htm
5 、Bingbot（必应蜘蛛）
必应是微软的搜刮引擎，微软的IE不雅不雅不雅不雅鉴赏器和Edge不雅不雅不雅不雅鉴赏器会默许独霸该搜刮引擎 ，并且占据率也还可以，不建议樊篱。
必应蜘蛛爬虫：http://www.bing.com/bingbot.htm
6 、Sosospider（SOSO蜘蛛）
腾讯soso，如今搜狗公司治理。
soso蜘蛛爬虫：http://help.soso.com/webspider.htm
7 、Yahoo Slurp China（雅虎中国）或 Yahoo! Slurp（雅虎英文）
雅虎蜘蛛爬虫 ：
雅虎中国：http://misc.yahoo.com.cn/help.html
雅虎英文 ：http://help.yahoo.com/help/us/ysearch/slurp
8、MSNBot ，MSNot-media（MSN蜘蛛）
MSNBOT理应是 bing 搜刮的蜘蛛 ，MSN和bing是一家的 ，可以只保管 Bingbot 。
MSN蜘蛛爬虫 ：http://search.msn.com/msnbot.htm
9 、YisouSpider（一搜蜘蛛/神马搜刮）
神马搜刮是UC和阿里2013年已创建合伙公司推出的挪动搜刮引擎 。
该蜘蛛抓取频率仍是很高的，良多人真实不看好 ，不过假定樊篱的话 ，会丧损掉落踪落 UC不雅不雅不雅不雅鉴赏器的流量本源。本身思虑吧 ！
10 、另有一些蜘蛛，不会给网站带来甚么流量，站长看可否樊篱。
YoudaoBot（有道蜘蛛） ：网易有道的蜘蛛 ，真实不会带来流量。
JikeSpider（当即蜘蛛） ："当即搜刮"是由人平易近搜刮群集股分公司于2011年6月20日推出的通用搜刮引擎平台 。
当即蜘蛛 ：http://shoulu.jike.com/spider.html
ToutiaoSpider（头条号） ：往日头条的头条号蜘蛛 ，不克不及带来流量 ，樊篱好啦 。
本源 ：http //web toutiao com/media_cooperation
除上述的爬虫 ，其他的就直接尽不游移的禁损掉落踪落 。
总结
优化猩SEO ：在信息除夜爆炸的时代 ，群集爬虫可以庖代手工做良多工作，比如可以用于做搜刮引擎 ，也可以爬取网站上面的图片等 ，群集爬虫可以更高屈当场独霸好互联网中的有效信息 。
参考链接 ：
群集爬虫_百度百科
https://baike.百度.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711
群集爬虫 - MBA智库百科
https://wiki.mbalib.com/wiki/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB
2019年搜刮引擎蜘蛛爬虫称号最新拾掇总汇-腾讯云
https://cloud.tencent.com/developer/article/1537951
群集爬虫是干甚么的 ？有哪些独霸处景？-博学谷
https://www.boxuegu.com/news/3975.html
改削于2025-05-19
