搜索引擎

search engine

定义：

万维网环境中的信息检索系统(包括目录服务和关键字检索两种服务方式)。

搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。

一、搜索类型

1.全文索引

全文索引引擎是名副其实的搜索引擎，国外代表有Google，国内知名的百度搜索。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

根据搜索结果来源的不同，全文搜索引擎可分为两类：一类拥有自己的网页抓取、索引、检索系统（Indexer），有独立的“蜘蛛”（Spider）程序、或爬虫（Crawler）、或“机器人”（Robot）程序（这三种称法意义相同），能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。

2.目录索引

目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo、新浪分类目录搜索。

3.元搜索引擎

元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。

“百谷虎”- baigoohoo

由于某家新闻媒体的报道，最近声名大振，高举着“山寨”大旗，让国人开始了解什么是山寨搜索引擎，名字极富创意。可惜由于搜索结果被并排挤在一起，似乎没有什么实际使用价值。

4.其他非主流搜索引擎形式：垂直搜索引擎、集合式~、门户~、免费链接列表~

二、搜索原理

1.抓取网页

每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普

遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。

2.处理网页

搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

3.提供检索服务

用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。

全文搜索引擎原理：

在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。

另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。

当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。

这种引擎它的特点是搜全率比较高。

区别目录搜索引擎：

与全文搜索引擎相比，目录索引有许多不同之处。

首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。

目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。

目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。

这种引擎的特点是找的准确率比较高。

三、搜索引擎的发展史

互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。

1990年，加拿大麦吉尔大学（University of McGill）计算机学院的师生开发出Archie。当时，万维网（World Wide Web）还没有出现，人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为现代搜索引擎的鼻祖。

编辑本段搜索引擎的起源:

由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后来另一个Gopher搜索工具。

发 展（1）

世界上第一个Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网发展规模。刚开始它只用来统计互联网上的服务器数量，后来则发展为也能够捕获网址（URL） 。

发 展（2）

Excite 的历史可以上溯到1993年2月，6个Stanford University（斯坦福大学）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目，他们还发布了一个供webmasters在自己网站上使用的搜索软件版本，后来被叫做Excite for Web Servers。

注：Excite后来曾以概念搜索闻名，2002年5月，被Infospace收购的Excite停止自己的搜索引擎，改用元搜索引擎 Dogpile

发 展（3）

1994年4月，斯坦福大学的两名博士生，美籍华人杨致远和David Filo共同创办了Yahoo！。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。因为Yahoo!的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。Yahoo!中收录的网站，因为都附有简介信息，所以搜索效率明显提高。

注：Yahoo以后陆续有 Altavista、Inktomi、Google提供搜索引擎服务

Yahoo!－－几乎成为20世纪90年代的因特网的代名词。

发 展（4）

1995年，一种新的搜索引擎形式出现了——元搜索引擎（Meta Search Engine）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。

第一个元搜索引擎，是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜索引擎概念上非常好听，但搜索效果始终不理想，所以没有哪个元搜索引擎有过强势地位。

发 展（5）

智能检索的产生：它利用分词词典、同义词典，同音词典改善检索效果，进一步还可在知识层面或者说概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典检索处理形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。

例：

（1）查询“计算机”，与“电脑”相关的信息也能检索出来；

（2）可以进一步缩小查询范围至“微机”、“服务器”或扩大查询至“信息技术”或查询相关的“电子技术”、“软件”、“计算机应用”等范畴；

（3）还包括歧义信息和检索处理，如“苹果”，究竟是指水果还是电脑品牌，“华人”与“中华人民共和国”的区分，将通过歧义知识描述库、全文索引、用户检索上下文分析以及用户相关性反馈等技术结合处理，高效、准确地反馈给用户最需要的信息。

发 展（7）

网格技术（great global grid)：由于没有统一的信息组织标准对网络信息资源进行加工处理，难以对无序的网络信息资源进行检索、交接和共享乃至深层次的开发利用，形成

信息孤岛。网格技术就是要消除信息孤岛实现互联网上所有资源的全面连通。

公司介绍

1998年10月之前，Google只是斯坦福大学（Stanford University）的一个小项目BackRub。1995年博士生Larry Page开始学习搜索引擎设计，于1997年9月15日注册了域名，1997年底，在Sergey Brin和Scott Hassan、Alan Steremberg的共同参与下，BachRub开始提供Demo。1999年2月，Google完成了从Alpha版到Beta版的蜕变。Google公司则把1998年9月27日认作自己的生日。Google以网页级别（Pagerank）为基础，判断网页的重要性，使得搜索结果的相关性大大增强。Google公司的奇客（Geek）文化氛围、不作恶（Don’t be evil）的理念，为Google赢得了极高的口碑和品牌美誉。2006年4月，Google宣布其中文名称“谷歌”，这是Google第一个在非英语国家起的名字。2010年3月23日，高级副总裁大卫·德拉蒙德公开发表声明，宣布将搜索服务由中国内地转至香港。2010年4月3日，名称“谷歌”废弃使用，“谷歌”改回“Google中国”。

Google 在中国

大事记

1. 2000年9月12日，谷歌开发其主站.com的中文界面。

2. 2005年7月，李开复加盟Google。并担任Google中国区总裁。 3. 2006年4月12日，Google全球CEO在北京宣布Google的中文名字为“谷歌”，Google正式进入中国。

4. 2009年9月4日前谷歌全球副总裁、大中华区总裁李开复正式辞职，Google公司未说明离职原因。

5. 2010年初谷歌退出中国风波

6. 2011年谷歌加大对中国市场的开发。

2010年1月12日15时，谷歌高级副总裁和首席法律顾问大卫·多姆德(David Drummond)在谷歌官方博客上发文表示，谷歌集团考虑关闭“谷歌中国”网站以及中国办事处[1]。

该博客宣称，我们已经决定，不愿意继续审查“谷歌中国”搜索到的结果。如果有可能的话，接下来的几周里，我们将和中国政府商议，在法律允许范围内运行一个不必经过过滤的搜索引擎。如果不能达成协议，可能意味着我们将不得不关闭“谷歌中国”，甚至是谷歌中国办事处

1996年8月，sohu公司成立，制作中文网站分类目录，曾有“出门找地图，上网找搜狐”的美誉。随着互联网网站的急剧增加，这种人工编辑的分类目录已经不适应。sohu于2004年8月独立域名的搜索网站“搜狗”，自称“第三代搜索引擎”。

Openfind 创立于1998年1月，其技术源自台湾中正大学吴升教授所领导的GAIS实验室。Openfind起先只做中文搜索引擎，鼎盛时期同时为三大著名门户新浪、奇摩、雅虎提供中文搜索引擎，但2000年后市场逐渐被Baidu和Google瓜分。2002年6月，Openfind重新发布基于GAIS30 Project的Openfind搜索引擎Beta版，推出多元排序（PolyRankTM），宣布累计抓取网页35亿，开始进入英文搜索领域。

2000年1月，两位北大校友，超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇（加州伯克利分校博士后）在北京中关村创立了百度（Baidu）公司。2001年8月发布百度搜索引擎Beta版（此前Baidu只为其它门户网站搜狐新浪Tom等提供搜索引擎），2001年10月22日正式发布Baidu搜索引擎，专注于中文搜索。Baidu搜索引擎的其它特色包括：百度快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、mp3搜索、Flash搜索。2002年3月闪电计划（Blitzen Project）开始后，技术升级明显加快。后推出贴吧、知道、地图、国学、百科、文档、视频、博客等一系列产品，深受网民欢迎。2005年8月5日在纳斯达克上市，发行价为USD 27.00，代号为BIDU。开盘价USD 66.00，以USD 122.54收盘，涨幅353.85%，创下了5年以来美国股市上市新股当日涨幅最高纪录。

2003年12月23日，原慧聪搜索正式独立运做，成立了中国搜索。2004年2月，中国搜索发布桌面搜索引擎网络猪1.0，2006年3月中搜将网络猪更名为IG（Internet Gateway） 。

2005年6月，新浪正式推出自主研发的搜索引擎“爱问”。2007年起，新浪爱问使用google搜索引擎。

四、搜索引擎的盈利模式市场和竞争格局

在搜索引擎发展早期，多是作为技术提供商为其他网站提供搜索服务，网站付钱给搜索引擎。后来，随着2001年互联网泡沫的破灭，大多转向为竞价排名方式。

现在搜索引擎的主流商务模式（百度的竞价排名、Google的AdWords）都是在搜索结果页面放置广告，通过用户的点击向广告主收费。这种模式最早是比尔·格罗斯（Bill

Gross）提出的。他于1998年6月创立GoTo公司（后于2001年9月更名为Overture），实施这种模式，取得了很大的成功，并且申请了专利。这种模式有两个特点，一是点击付费（Pay Per Click），用户不点击则广告主不用付费。二是竞价排序，根据广告主的付费多少排列结果。 2001年10月，Google推出AdWords，也采用点击付费和竞价的方式。2002年，Overture起诉Google侵犯了其专利。2004年8月，和Yahoo！（Yahoo！于2003年7月收购Overture）达成和解，向后者支付了270万普通股（合3亿美元不到）作为和解费。

AdSense是Google于2003年推出的一种新的广告方式。AdSense使各种规模的的第三方网页发布者进入Google庞大的广告商网络。Google在这些第三方网页放置跟网页内容相关的广告，当浏览者点击这些广告时，网页发布者能获得收入。AdSense在blogger中很受欢迎。同时，Google武断地删除一些帐号，引起部分人的不满。类似的广告方式，其他搜索引擎也先后推出。雅虎的广告方式是YPN（Yahoo Publisher Network），YPN 除了可以在网页上显示与内容相关的广告以外，还可以通过在 RSS 订阅中来显示广告。微软的广告计划叫AdCenter。百度也推出主题推广。

市场概述

2010年4月12日，艾瑞咨询今日发布的中国搜索引擎市场份额报告显示，2009年全球搜索引擎市场规模达339.0亿美元。中国搜索引擎市场规模达69.6亿元（约合10.2亿美元），相比2008年的50.3亿元年同比增长38.5%。预计2010年中国搜索引擎市场规模将呈现45%左右的增幅。

2009年中国网页搜索请求量规模为2033.8亿次，年同比增长35.7%。自2007年中国列于全球搜索请求量首位以来，其在全球市场的领先优势持续强化：2007年至2009年，

中国搜索请求量规模在全球请求量规模中占比分别为15.6%、19.7%和20.6%。

竞争格局

双寡头特征依旧，建议运营商外延竞争边界

2009年中国搜索引擎市场双寡头特征加剧，营收方面，百度、谷歌二者营收份额之和为96.2%；流量方面，百度谷歌网页搜索请求量份额之和达94.9%，基本垄断中国搜索引擎市场。艾瑞建议领先通用搜索引擎运营商，在维持通用搜索市场的既得优势的同时，重视来自广义搜索市场的潜在竞争。

五、搜索技巧

在类别中搜索

许多搜索引擎（如Yahoo）都显示类别，如计算机和Internet、商业和经济。如果您单击其中一个类别，然后再使用搜索引擎，您将可以选择搜索整个Internet还是搜索当前类别。显然，在一个特定类别下进行搜索所耗费的时间较少，而且能够避免大量无关的Web站点。

当然，您或许还想搜索整个Internet，以搜索特定类别之外的信息。

使用具体的关键字

如果想要搜索以鸟为主题的Web站点，您可以在搜索引擎中输入关键字“bird”。但是，搜索引擎会因此返回大量无关信息，如谈论高尔夫的“小鸟球（birdie）”或烹饪game

birds不同方法的Web站点。为了避免这种问题的出现，请使用更为具体的关键字，如“ornithology”（鸟类学，动物学的一个分支）。您所提供的关键字越具体，搜索引擎返回无关Web站点的可能性就越小。

使用多个关键字连接符

您还可以通过使用多个关键字来缩小搜索范围。例如，如果想要搜索有关佛罗里达州迈阿密市的信息，则输入两个关键字“Miami”和“Florida”。如果只输入其中一个关键字，搜索引擎就会返回诸如Miami Dolphins足球队或Florida Marlins棒球队的无关信息。一般而言，您提供的关键字越多，搜索引擎返回的结果越精确。

使用布尔运算符

许多搜索引擎都允许在搜索中使用两个不同的布尔运算符：AND和OR。

如果您想搜索所有同时包含单词“hot”和“dog”的Web站点，只需要在搜索引擎中输入如下关键字：

hot AND dog

搜索将返回以热狗(hot dog)为主题的Web站点，但还会返回一些奇怪的结果，如谈论如何在一个热天(hot day)让一只狗(dog)凉快下来的Web站点。

如果想要搜索所有包含单词“hot”或单词“dog”的Web站点，您只需要输入下面的关键字：

hot OR dog

搜索会返回与这两个单词有关的Web站点，这些Web站点的主题可能是热狗(hot dog)、狗，也可能是不同的空调在热天(hot day)使您凉爽、辣酱(hot chilli sauces)或狗粮等。

留意搜索引擎返回的结果

搜索引擎返回的Web站点顺序可能会影响人们的访问，所以，为了增加Web站点的点击率，一些Web站点会付费给搜索引擎，以在相关Web站点列表中显示在靠前的位置。好的搜索引擎会鉴别Web站点的内容，并据此安排它们的顺序，但其他搜索引擎大概不会这么做。

此外，因为搜索引擎经常对最为常用的关键字进行搜索，所以许多Web站点在自己的网页中隐藏了同一关键字的多个副本。这使得搜索引擎不再去查找Internet，以返回与关键字有关的更多信息。

六、未来搜索引擎和展望

索引擎的最新技术发展包括以下几个方面：

提高搜索引擎对用户检索提问的理解

为了提高搜索引擎对用户检索提问的理解，就必须有一个好的检索提问语言，为了克服关键词检索和目录查询的缺点，现在已经出现了自然语言智能答询。用户可以输入简单的疑问句，比如“how can kill virus of computer?”。搜索引擎在对提问进行结构和内

容的分析之后，或直接给出提问的答案，或引导用户从几个可选择的问题中进行再选择。自然语言的优势在于，一是使网络交流更加人性化，二是使查询变得更加方便、直接、有效。就以上面的例子来讲，如果用关键词查询，多半人会用“virus”这个词来检索，结果中必然会包括各类病毒的介绍、病毒是怎样产生的等等许多无效信息，而用“how can kill virus of computer?”，搜索引擎会将怎样杀病毒的信息提供给用户，提高了检索效率。

对检索结果进行处理

1、基于链接评价的搜索引擎

基于链接评价的搜索引擎的优秀代表是Google，它独创的“链接评价体系”是基于这样一种认识，一个网页的重要性取决于它被其它网页链接的数量，特别是一些已经被认定是“重要”的网页的链接数量。这种评价体制与《科技引文索引》的思路非常相似，但是由于互联网是在一个商业化的环境中发展起来的，一个网站的被链接数量还与它的商业推广有着密切的联系，因此这种评价体制在某种程度上缺乏客观性。

2、基于访问大众性的搜索引擎

基于访问大众性的搜索引擎的代表是direct hit，它的基本理念是多数人选择访问的网站就是最重要的网站。根据以前成千上万的网络用户在检索结果中实际所挑选并访问的网站和他们在这些网站上花费的时间来统计确定有关网站的重要性排名，并以此来确定哪些网站最符合用户的检索要求。因此具有典型的趋众性特点。这种评价体制与基于链接评价的搜索引擎有着同样的缺点。

3、去掉检索结果中附加的多余信息

有调查指出，过多的附加信息加重了用户的信息负担，为了去掉这些过多的附加信息，可以采用用户定制、内容过滤等检索技术。

搜索引擎的未来展望

随着互联网的发展，网上可以搜寻的网页变得愈来愈多，而网页内容的质素亦变得良莠不齐，没有保证。所以，未来的搜索引擎将会朝着知识型搜索引擎的方向发展，期以为搜寻者提供更准确及适用的资料。目前，网上的百科全书如雨后春笋般发展起来；另一方面，近年来亦有不少公司尝试在搜寻方面改进，务求更符合用户的要求。当中诸如Copernic Agent之类的搜寻代理就是其中之一。

在台湾，威知资讯(WebGenie)是利用文字探勘(Text Mining)技术发展搜寻引擎产品的公司，利用人工智能算法，可达成目前搜寻引擎所缺乏的简易人机互动模式，诸如关联字提示、动态分类字提示等[1]，算是较另类的搜寻引擎产品。

搜索关键词提炼

选择搜索关键词的原则是，首先确定你所要达到的目标，在脑子里要形成一个比较清晰概念，即我要找的到底是什么？是资料性的文档？还是某种产品或服务？然后再分析这些信息都有些什么共性，以及区别于其他同类信息的特性，最后从这些方向性的概念中提炼出此类信息最具代表性的关键词。如果这一步做好了，往往就能迅速的定位你要找的东西，而且多数时候你根本不需要用到其他更复杂的搜索技巧。

细化搜索条件

你给出的搜索条件越具体，搜索引擎返回的结果也会越精确。

比方说你想查找有关电脑冒险游戏方面的资料，输入game是无济于事的。computer game范围就小一些，当然最好是敲入computer adventure game，返回的结果会精确得多。

此外一些功能词汇和太常用的名词，如对英文中的“and”、“how”、“what”、“web”、“homepage”和中文中的“的”、“地”、“和”等等搜索引擎是不支持的。这些词被称为停用词（Stop Words）或过滤词（Filter Words），在搜索时这些词都将被搜索引擎忽略。

用好搜索逻辑命令

搜索引擎基本上都支持附加逻辑命令查询，常用的是“＋”号和“－”号，或与之相对应的布尔（Boolean）逻辑命令AND、OR和NOT。用好这些命令符号可以大幅提高我们的搜索精度。

精确匹配搜索

除利用前面提到的逻辑命令来缩小查询范围外，还可使用\"\"引号（注意为英文字符。虽然现在一些搜索引擎已支持中文标点符号，但顾及到其他引擎，最好养成使用英文字符的习惯）来进行精确匹配查询（也称短语搜索）。

特殊搜索命令

标题搜索

多数搜索引擎都支持针对网页标题的搜索，命令是“title：”，在进行标题搜索时，前面提到的逻辑符号和精确匹配原则同样适用。

网站搜索

此外我们还可以针对网站进行搜索，命令是“site：”（Google）、“host：”（AltaVista）、“url：”（Infoseek）或“domain：”（HotBot）。

链接搜索

在Google和AltaVista中，用户均可通过“link:”命令来查找某网站的外部导入链接（inbound links）。其他一些引擎也有同样的功能，只不过命令格式稍有区别。你可以用这个命令来查看是谁以及有多少网站与你做了链接。

编辑本段seoer

SEO，中文意思是搜索引擎优化。指通过了解各类搜索引擎如何抓取互联网页面，如何进行索引以及如何确定其对某一特定关键词的搜索结果排名等技术，来对网页进行相关的优化，使其提高搜索引擎排名。