搜索引擎抓取的策略 作为seoer,你了解搜索引擎抓取和更新策略吗?

  最近在看一本书,发现当我们不实践直接看原理是枯燥无味的,而实践过后反过来看原理,会觉得很多道理,很多感悟。就拿我自己做反面教材,说我是搜索引擎优化工作者,我对搜索引擎的工作方式和基本的抓取原理,更新策略都不懂。那么你呢?下面就分享下我的读书笔记,仅当新人扫盲。

  在介绍搜索引擎爬虫的之前,首先了解爬虫把网页的分类,四种:

搜索引擎抓取的策略 作为seoer,你了解搜索引擎抓取和更新策略吗?

  1,已过期的网页和已下载的网页

  2,待下载的网页

  3,可知网页

  4,不可知网页

  下面我会详细介绍搜索引擎是如何更新已下载网页,如何下载待下载网页,如何处理可知但未抓取的网页,如何抓取不可知网页。

  一.处理待下载网页

  抓取策略:在一堆可知的网页中,搜索引擎会抽出待抓取网页url,爬虫抓取网页url在其中顺序排列,形成一个队列,调度程序每次从队列头取出某个url,发送给网页下载器下载内容,每个新下载的页面包含的url会追加到带抓取队列中的末尾,形成循环,这是最基础的算法。但不是唯一的方法。

  这样纯粹是按照顺序抓取,但是搜索引擎一般都选择重要的页面优先抓取。网页重要性,大部分是按照网页流行度抓取的,所为网页流行度,谷歌官方有句话是指曝光度,通俗意思就是反向链接。(所以才有那么多人做外链)

  一般有四种方案选择重要页面:宽度优先遍历策略,非完全pagerank(非谷歌pr值)策略,ocip策略,大站优先策略

  1、宽度优先遍历策略:将新下载的网页包含的链接直接追加到带抓取url队列末尾。看似很机械,其实包含了一些优先策略:如果入链比较多,就更加容易被宽度优先遍历策略抓取到,入链个数侧面表现了网页的重要性。(这就是为什么要做好站内链接)

  2、非完全pagerank:前面的是以数量来定的,这个是加入了质量。

  初始算法:将已下载的的网页加入待下载url队列中形成网页集合,在这个集合中计算pr,然后将带抓取的队列按照pr重新排列,就按照这个顺序抓取。

  (每次新下载网页之后又要重新计算排序,显得效率太低了)

  每当攒够k个网页之后在重新计算。但是问题是:新抽出来的网页没后计算pr没有pr值,他们的重要性可能比已经在队列中的要高怎么办?

  解决办法:给每个新抽出来赋予一个临时pr,这个临时pr是根据入链传到的pr值汇总的值。这样在计算下,如果比队列中高就有限抓取他。这就是非完全pr

  (pr高的会优先抓取,收录多排名靠前机会也大一些,所以会有那么多人提高spr)

  3、ocip(online page importance computation)策略:在线页面重要性,改进的pr算法。

  算法开始之前就每个页面都给一样的现金,,当这个页面被下载了以后,这个现金就平均分给他的导出页面,而自己的就清空。这些导出页面放在带抓取的队列中,按照现金多少来优先抓取。

  和pr区别:pr上一个页面的不清空,每次都要迭代重新计算,而这个不用重新计算都清空了。而且pr存在无连接关系的跳转,而这个只要无连接就不传递现金。

  4、大站优先:带抓取队列中哪个网站的多就优先抓取哪个。(所以网站页面要丰富,内容要丰富)

  二、更新已下载网页

  上面就是搜索引擎的抓取策略。抓取完了的页面就加入已下载的网页中,已下载的网页需要不断地更新,那么搜索引擎又是如何更新的呢?

  一般的网页更新策略:历史参考策略,用户体验策略,聚类抽样策略

  1、历史参考:过去频繁更新的,现在可能也频繁。利用模型预测未来更新时间。忽略导航栏和广告的频繁更新,所以导航的频繁更新没用,重在内容(现在知道为什么更新内容要持续,有规律了吧)

  2、用户体验:即使网页已经过时了,需要更新了,但如果我更新了不影响用户体验搜索引擎就晚些更新。算法是:网页更新对搜索引擎搜索质量的影响(一般看排名),影响大就尽快更新。所以他们会保存多个历史网页,根据以前更新所带来的影响判断更新对搜索引擎质量的影响大小。

  以上两种缺点:依赖历史,要保存很多历史数据,增加负担。如果没有历史记录就不准确了。

  3、聚类抽样策略:把网页分类,根据同一类别网页更新频率更新所有这一类别的网页。抽取最具代表性的,看他的更新频率,以后同行业的都按照这个频率。

  三、抓取不可知网页

  不可知的网页就是暗网,搜索引擎很难用常规方法抓取到的数据。比如没有连接的网站,数据库。比如一个产品库存查询,可能要输入产品名称,地区,型号一系列文本才能查询库存数量。而搜索引擎是难以抓取的。这就有了查询组合和,isit算法。

  先介绍下两个概念:

  1、富含信息查询模版:就比如一个查询系统,我设定一个查询模版,每个文本框输入什么信号,地区,产品名称等,形成不同的查询组合。不同的组合之间差异很大,就是富含信息查询模版。

  这个模板是怎么确定的呢?爬虫先从一维模版开始,比如先别的不是输入就输入地区,看是否是富含信息查询模版,是就扩展到二维模版,比如地区+型号。如此增加维度,直到没有新的模版。

  2、词的组合:也许你纳闷了,爬虫怎么知道这个输入框要输入什么,是地区还是产品名称,还是时间?所以爬虫开始需要人工提示,人工提供一些初始查询种子表,爬虫更具这个表格查询下载页面,然后分析页面,自动挖掘新的关键词,形成新的查询列表,然后在查询,将结果提交给搜索引擎,直到没有新内容为止。

  这样就完成了对暗网的抓取。

  以上只是简单的介绍一下爬虫的抓取和更新框架,具体的算法可就复杂多了,有待我慢慢研究过后再分享。

  最后感谢站长网的支持,本文由网站http://www.haoyunlaibj.com小编一个字一个字码出来的,转载请保留链接哦

  

爱华网本文地址 » http://www.aihuau.com/a/5325171/876605758.html

更多阅读

手机抓包:如何抓取手机请求的网络包

思想:手机通过无线访问电脑的有线网络. 在电脑上通过软件来查看抓取的包.PC上要做哪些工作:在你的PC上搭建代理服务器,这样PC就相当于代理服务器,搭建代理服务器的软件有很多中,比如CCProxy,Fiddler。这里采用Fiddler,个人感觉它的可读性更

搜索引擎如何抓取网页和如何索引 屏蔽搜索引擎抓取

  1、Meta标签优化  主要包括主题(Title),网站描述(Description),和关键词(Keywords),我们更加关注的是比赛要求的关键词和相关长尾关键词,还有一些其它的隐藏文字比如Author(作者),Category(目录)网站优化服务,Language(编码语种)等

网页访客qq抓取 请问为什么我的网页很少有访客呢

楼主应该问一下自己,你做了哪些功夫会有人来你的网页的,或者你问一下怎样才能有更多人来你的网页。只有清楚自己的不足,才能改进。这个好办啊可以上www.taobaotg.net 要多少有多少人啊  2.6 10000个人看全国各地真实IP

商务谈判的策略与技巧 家纺营销商务谈判策略浅度解析

   在现在市场哀鸿遍地的时代,商务谈判的策略显得尤其重要。那么作为商务代表应该注意哪些重要环节呢?  一 谈判的明确性      首先你要知道你自己这次谈判的目的是什么,详细的了解对家公司的经营状况。把自己这次谈判的工

应对竞争对手的策略 把你的对手拿下!应对竞争的三重境界

  理论上讲,应对竞争对手,有三重不同的境界。三重不同的境界体现自身的修为、实力与品格的高低。  第一重境界,也是最高的境界,是同化你的对手,让对手对你心服口服外带佩服。用《孙子》里的话讲,就是“不战而屈人之兵”。中国古代大

声明:《搜索引擎抓取的策略 作为seoer,你了解搜索引擎抓取和更新策略吗?》为网友只因分享!如侵犯到您的合法权益请联系我们删除