搜索引擎的概念：搜索引擎概述（全）

搜索引擎概述：

1.1  搜索引擎的概念：

搜索引擎是指根据一定的策略，运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户提供检索服务的系统

• 从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入的词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回和用户输入内容相关的信息列表
• 搜索引擎并不是真正的搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。真正意义上的的搜索引擎，通常是指收集了互联网几千万到几十亿个网页并对网页中的每一个关键词进行索引，建立索引数据库的全文搜索引擎。当用户查找某一个关键词的时候，所有的界面内容中包含了该关键词的网页都将作为搜索结果被搜出来，在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。

1.2   搜索引擎的原理：

可以分为四步：

1.3   搜索引擎的发展阶段：

搜索引擎至今已经经历了三个发展阶段：

• 索引数据库的规模继续增大，一般商业的搜索引擎都保持在几千万甚至上亿个网页
• 除了一般意义上的搜索以外，开始出现主题搜索和地域搜索，很多小型的垂直门户站点开始使用这种技术
• 由于搜索返回的数据量过大，检索结果相关度评价成为研究的焦点

1.4   搜索引擎的发展趋势：

搜索引擎的发展趋势主要包括以下几个方面：

1.4.1  针对检索结果技术的搜索引擎：

1.5   搜索引擎的分类：

1.全文搜索引擎：是名副其实的搜索引擎，代表性的搜索引擎有Google，百度等。原理就是上文提到的搜索引擎的原理。

• 优点：有全文搜索，检索能力强，信息更新速度快等
• 缺点：提供的信息多但是不全，可供选择信息过多导致命中率下降，重复过多，层次结构不清晰，繁多杂乱

2.目录索引搜索引擎：不是真正意义上的的搜索引擎，仅仅是按目录分类的网站链接列表而已，用户完全可以不用进行关键词查询，仅靠分类目录也能找到需要的信息，代表：雅虎，新浪，搜狐，网易

• 优点：层次结构清晰，易于查找；多级类目，便于查询到具体明确的主题；内容提要，分类目录一目了然
• 缺点：搜索范围较小，更新速度慢，查询交叉类目时容易遗漏

3.元搜索引擎：同上文

   1.非主流形式：

• 集合式搜索引擎
• 门户搜索引擎
• 免费链接搜索引擎

   2.功能：

• 网页搜索功能
• 网站搜索功能
• 图片搜索功能
• 新闻搜索功能
• 字典搜索功能
• 功能搜索功能

4.分布式搜索引擎：按区域，主题或其他标准创建分布式索引服务器，索引之间相互可以交换中间信息，且查询可以被重定向

1.6   搜索引擎的关键技术

1.信息收集和存储技术

2.信息预处理技术

• 关键词提取
• 重复或转载网页的消除
• 链接分析
• 网页重要程度计算

3.信息检索技术

• 信息语词切分和语词词法分析
• 进行词性标注及相关的自然语言处理
• 建立检索项索引
• 检索结果处理技术

节选自：《搜索引擎基础教程》  袁津生  李群 主编