这两天在帮李老师采集“创业板”主题相关的网络数据，顺便研究了下几种不同的网络信息采集工具，包括iLab实验室自己开发的两款采集工具和网络上两个比较知名的网络信息采集工具。 一、基于Google/百度等搜索引擎的全网搜索【iLab开发】思路：该方法的基本原理是利用通用搜索引擎，采集其检索的结果。通常取其检索结果的前100页。通过抓取检索结果条目的url获取源码，并通过正文提取算法获得原文。因此，通用搜索引擎的所有功能如多关键词，站内检索等都能在该工具中有所体现。优点：检索结果覆盖面较广。缺点：若要采集更专指的主题信息，需要指点垂直专业站点（site：）；搜索引擎返回的结果无固定格式模板，难以采集全文，只能采取通用正文提取算法，目前准确率可达75%。
二、基于新浪新闻的全网搜索【iLab开发】思路：与第一种方法类似，这里选择的是新浪的新闻搜索平台。其索引的范围包括新浪自身的新闻和其他网站的新闻，可以在全文和标题两种字段中检索。抓取方法同上。优点：由于数据源都是新闻报道，因此数据结构相对规定，方便抽取原文。缺点：覆盖面不够，针对新闻数据。 经测试，新浪搜索平台在标题字段中检索，主题更相关，且新浪自己的新闻数据保存的更好。因此我们的工具选择了采集“新浪新闻+标题”检索方式获得的结果。
三、火车头 很早之前就听说过这个采集工具，但是这两天真正去使用的时候，发现其功能真的很强大。几乎任何浏览器能访问的信息都能采集到，而且还集成了分词等功能。在进行多层链接采集和分页采集的时候，也很方便。网上有免费版本可以下载，商业版有更完善的功能和售后服务。思路：火车头采集的基本思路是url采集+内容模板设置。其还提供了完善的数据保存和发布功能。优点:可以采集特定网站和板块；精确匹配。缺点：在我了解了其所有功能后，在我的需求范围内，我发现火车头没有缺点了。当然并不是说真的没有任何问题，而是大部分功能都有了。而且还提供了开发接口，供功能扩展。商业化的软件就是不一样！火车头软件的帮助文档里有相关教程下载，操作也十分简单。
四、网络神采 也是一款知名的网络信息采集工具，我没有用过，大家可以到官网看看。
最后，前面提到的我们实验室的采集工具，大家若有需要可以找我要。该工具还集成了其他文本分析功能。
爱华网本文地址 » http://www.aihuau.com/a/25101014/213210.html
更多阅读
网络兼职做什么好——简介很多人在工作之余都想给自己带来额外的收入，毕竟大把的时候浪费在网上，不如用来产生实际的价值，但现如今网上信息繁杂，鱼目混珠，各种乱七八糟的虚假信息很容易让人迷茫，自己也曾经试着在网上做了一些兼职，下面就结
想要学习英语的朋友如果想要交一些外国朋友并和他们聊天，我们可以提供你以下几种方式：1.MSN2.Skype3.ICQ3.Facebook外国人常用的聊天工具有哪些？_国外聊天工具4.AOL5.Google Talk6.雅虎通想要和老外聊天的朋友们都可
1、.ICQ-全球使用率最高的即时通讯软件，当年腾讯就是模仿ICQ诞生的。（该软件有中文版，不过好多年没更新了，不推荐使用，还是用英文版的吧）2.、移动飞信-飞信是中国移动推出的“综合通信服务”，即融合语音（IVR）、GPRS、短信等多种通信方式，覆盖
淘宝推广工具有哪些免费的淘宝推广工具有哪些免费的？不论什么时候其实做淘宝都不是一件容易的事情，利润肯定是只有越卖越多才会更多。要有销量，首先是流量，如何引流？推广有二种，一种是免费的，一种是付费的；当然付费的是最好的，因为不用很累！
常用的文字处理工具有哪些？其特点是什么？常用的字处理软件有微软的WORD,金山的WPS和金山文字.它们都是基于WINDOWS平台的字处理软件.其中WORD的功能强大一Word特点W
爱华网