设为首页 - 加入收藏 贤淑网 (http://www.xianshufang.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 发布 曝光 市场 推出
当前位置: 首页 > 运营中心 > 建站资源 > 优化 > 正文

没有爬虫,就没有今天的搜索引擎

发布时间:2019-09-27 09:37 所属栏目:[优化] 来源:DataHunter
导读:在如今信息化、数字化的时代,人们已经离不开网络搜索了,但细想一下,你在搜索过程中能够真正获得相关信息,是因为有人在帮你把与之相关的内容筛选和呈递到你面前了。 就像在饭店里,你点了土豆并且能吃到,是因为有人帮你在土豆、萝卜、西红柿等中找到土

在如今信息化、数字化的时代,人们已经离不开网络搜索了,但细想一下,你在搜索过程中能够真正获得相关信息,是因为有人在帮你把与之相关的内容筛选和呈递到你面前了。

没有爬虫,就没有今天的搜索引擎

就像在饭店里,你点了土豆并且能吃到,是因为有人帮你在土豆、萝卜、西红柿等中找到土豆,也有人把土豆拿到你桌上。在网络上,这两个动作都是由一位叫做爬虫的同学帮你实现的。

也就是说,没有爬虫,就没有今天的检索,你就不能精确地查找信息、有效地获取数据。今天DataHunter数猎哥就来说说爬虫在数据分析领域的应用,以及它是如何帮助我们提升数据分析质量的。

一、数据化时代,爬虫的本质是提升效率

网络爬虫也叫网络机器人,可以代替人们自动化浏览网络中的信息,进行数据的采集与整理。

它是一种程序,基本原理是向网站/网络发起请求,获取资源后分析并提取有用数据。从技术层面来说,就是通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,并存放起来使用。

没有爬虫,就没有今天的搜索引擎

每一个程序都有自己的规则,网络爬虫也不例外。它穿梭于全球各个网站中间,会根据人们施加的规则去采集信息,我们称这些规则为网络爬虫算法。规则是人定的,是人根据自己的目的与需求设计的,因此,根据使用者的目的,爬虫可以有不同的功能。但所有爬虫的本质,都是方便人们在海量的互联网信息中找到并下载到自己要的那一类,提升信息获取效率。

二、爬虫的应用:搜索与帮助企业强化业务

1.搜索引擎:爬站点,为网络用户提供便利

在网络发展伊始,全球范围内能提供信息的网站数量不多,用户也不多。互联网只是文件传输协议(FTP)站点的集合,用户可以在这些站点中导航以找到特定的共享文件,而为了查找和组合互联网上可用的分布式数据,人们创建了一个自动化程序,称为网络爬虫/机器人,可以抓取网上的所有网页,然后将所有页面上的内容复制到数据库中制作索引。这也是最早期的搜索引擎。

如今随着互联网的高速发展,我们能够在任何一个搜索引擎中看到来自全球各个网站的信息。百度搜索引擎的爬虫叫做百度蜘蛛(Baiduspider),360的爬虫叫360Spider,搜狗的爬虫叫Sogouspider,必应的爬虫叫Bingbot。搜索引擎离不开爬虫。

比如百度蜘蛛每天会在海量的互联网信息中进行爬取,爬取优质信息并收录。当用户在百度搜索引擎上检索对应关键词时,百度将对关键词进行分析处理,从收录的网页中找出相关网页,按照一定的排名规则进行排序并将结果展现给用户,工作原理如图所示。现在,我们可以大胆地说,你每天都在免费享受爬虫的福利。

没有爬虫,就没有今天的搜索引擎

2.企业:监控舆情,高效获取有价值信息

我们说过,爬虫的本质是提升效率,爬虫的规则是人定的;那么企业就完全可以根据自己的业务需求去设计一个爬虫,第一时间得到网络上与其相关信息,并且进行清洗和整合。

大数据时代要进行数据分析,首先要有数据源,而网络爬虫可以让我们获取更多数据源的同时,按照我们的目的进行采集,从而去掉很多无关数据。

比如在进行大数据分析或数据挖掘时,数据源可以从某些提供数据统计的网站获取,也可以从某些文献或内部资料中获得。但是这些获得数据的方式,有时很难满足我们对数据的需求。此时,就可以利用爬虫技术,自动地从互联网中获取更多我们感兴趣的的数据内容,从而进行更深层次的数据分析,并获得更多有价值的信息。

除此以外,网络爬虫还可以应用于金融分析中对金融数据进行采集,用以进行投资分析;应用于舆情监测与分析、目标客户精准营销等各个领域。

三、4种企业常用的网络爬虫

网络爬虫按照实现的技术和结构可以分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等类型。但实际的网络爬虫由于复杂的网络环境,通常是这几类爬虫的组合体。

1.通用网络爬虫

通用网络爬虫又叫作全网爬虫,顾名思义,爬取的目标资源在全互联网中,所爬取的目标数据是巨大的,并且爬行的范围也是非常大的。正是由于其爬取的数据是海量数据,所以对于这类爬虫来说,其爬取的性能要求是非常高的。这种网络爬虫主要应用于大型搜索引擎中,有非常高的应用价值。

通用网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块等构成。通用网络爬虫在爬行的时候会采取一定的爬行策略,主要有深度优先爬行策略和广度优先爬行策略,具体详情在后文中会有介绍。

2.聚焦网络爬虫

聚焦网络爬虫也叫主题网络爬虫,是按照预先定义好的主题有选择地进行网页爬取的一种爬虫。聚焦网络爬虫主要应用在对特定信息的爬取中,主要为某一类特定的人群提供服务。

聚焦网络爬虫同样由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块、链接评价模块等构成。其中的内容评价模块和链接评价模块可以根据链接和内容的重要性,确定哪些页面优先访问。聚焦网络爬虫的爬行策略主要有4种,如图所示:

没有爬虫,就没有今天的搜索引擎

聚焦网络爬虫由于可以按对应的主题有目的地进行爬取,所以在实际的运用过程中可以节省大量的服务器资源和宽带资源,因而具有很强的实用性。这里我们以聚焦网络爬虫为例来了解爬虫运行的工作原理和流程。

没有爬虫,就没有今天的搜索引擎

如图所示,聚焦网络爬虫拥有一个控制中心,该控制中心负责对整个爬虫系统进行管理和监控,主要包括控制用户交互、初始化爬行器、确定主题、协调各模块之间的工作、控制爬行过程等方面:

(1)控制中心将初始的URL集合传递给URL队列,页面爬行模块会从URL队列中读取第一批URL列表;

(2)根据这些URL地址从互联网中进行相应的页面爬取;爬取后,将爬取到的内容传到页面数据库中存储;

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章