所谓搜索引擎, 就是根据用户需求与一定算法, 运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术, 如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等, 为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等, 同时可添加其他一系列辅助模块, 以为用户创造更好的网络使用环境。
从发展历史来看, 搜索引擎技术自1994年以来, 已经经历了三代的更新与发展, 它们分别是:以Yahoo为代表的第一代搜索引擎技术, 它是基于万维网运行并首次支持自然语言检索和高级搜索语法检索, 以人工整理的目录方式呈现检索结果是其明显特征;以Google为代表的第二代搜索引擎技术, 它是基于数据挖掘和网站评级技术并利用关键字进行机器检索, 其检索速度与准确性迅速提高;以2005年微软公司“技术驱动型”搜索引擎构想为代表的第三代搜索引擎技术,是第二代搜索引擎技术的升级与改进, 具有更为强大的服务空间与技术性能。
目前, 世界上主流搜索引擎公司是谷歌、雅虎, 尤其如谷歌, 它提出“让世界变得更美好”的口号令世界瞩目。在我国, 百度一家独大, 它提出的口号是“连接人与服务”, 意欲为国人提供最智能化、个性化的检索服务。
搜索引擎的工作步骤与主要特点
搜索引擎利用其强大的爬虫技术和索引技术, 为计算机用户提供优质的个性化信息服务。其工作步骤主要包括三个环节:爬行和抓取 (数据采集) 、数据库处理 (数据预处理和数据处理) 、排名 (结果展示) 。
其主要特点是:
1) 信息抓取迅速。在大数据时代, 网络产生的信息浩如烟海, 令人无所适从, 难以得到自己需要的信息资源。在搜索引擎技术的帮助下, 利用关键词、高级语法等检索方式就可以快速捕捉到相关度极高的匹配信息。
2) 深入开展信息挖掘。搜索引擎在捕获用户需求的信息的同时, 还能对检索的信息加以一定维度的分析, 以引导其对信息的使用与认识。例如, 用户可以根据检索到的信息条目判断检索对象的热度, 还可以根据检索到的信息分布给出高相关性的同类对象, 还可以利用检索到的信息智能化给出用户解决方案, 等等。
3) 检索内容的多样化和广泛性。随着搜索引擎技术的日益成熟, 当代搜索引擎技术几乎可以支持各种数据类型的检索, 例如自然语言、智能语言、机器语言等各种语言。目前, 不仅视频、音频、图像可以被检索, 而且人类面部特征、指纹、特定动作等也可以被检索到。可以想象, 在未来几乎一切数据类型都可能成为搜索引擎的检索对象。
四种基本搜索方式的比较
搜索方式是搜索引擎的一个关键环节, 大致可分为四种:全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎,它们各有特点并适用于不同的搜索环境。所以, 灵活选用搜索方式是提高搜索引擎性能的重要途径。全文搜索引擎是利用爬虫程序抓取互联网上所有相关文章予以索引的搜索方式;元搜索引擎是基于多个搜索引擎结果并对之整合处理的二次搜索方式;垂直搜索引擎是对某一特定行业内数据进行快速检索的一种专业搜索方式;目录搜索引擎是依赖人工收集处理数据并置于分类目录链接下的搜索方式。
