现代意义上的搜索引擎的祖先，是1990年由蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，而且由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage想到了开发一个可以以文件名查找文件的系统，于是便有了Archie。
Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。由于Archie深受用户欢迎，受其启发，美国内华达System Computing Services大学于1993年开发了另一个与之非常相似的搜索工具，不过此时的搜索工具除了索引文件外，已能检索网页。
当时，“机器人”一词在编程者中十分流行。电脑“机器人”（Computer Robot）是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的“机器人”程序象蜘蛛一样在网络间爬来爬去，因此，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。
世界上第一个用于监测互联网发展规模的“机器人”程序是Matthew Gray开发的World wide Web Wanderer。刚开始它只用来统计互联网上的服务器数量，后来则发展为能够检索网站域名。
与Wanderer相对应，Martin Koster于1993年10月创建了ALIWEB，它是Archie的HTTP版本。ALIWEB不使用“机器人”程序，而是靠网站主动提交信息来建立自己的链接索引，类似于现在我们熟知的Yahoo。
随着互联网的迅速发展，使得检索所有新出现的网页变得越来越困难，因此，在Matthew Gray的Wanderer基础上，一些编程者将传统的“蜘蛛”程序工作原理作了些改进。其设想是，既然所有网页都可能有连向其他网站的链接，那么从跟踪一个网站的链接开始，就有可能检索整个互联网。到1993年底，一些基于此原理的搜索引擎开始纷纷涌现，其中以JumpStation、The World Wide Web Worm（Goto的前身，也就是今天Overture），和Repository-Based Software Engineering (RBSE) spider最负盛名。
然而JumpStation和WWW Worm只是以搜索工具在数据库中找到匹配信息的先后次序排列搜索结果，因此毫无信息关联度可言。而RBSE是第一个在搜索结果排列中引入关键字串匹配程度概念的引擎。
最早现代意义上的搜索引擎出现于1994年7月。当时Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中，创建了大家现在熟知的Lycos。同年4月，斯坦福（Stanford）大学的两名博士生，David Filo和美籍华人杨致远（Gerry Yang）共同创办了超级目录索引Yahoo，并成功地使搜索引擎的概念深入人心。从此搜索引擎进入了高速发展时期。目前，互联网上有名有姓的搜索引擎已达数百家，其检索的信息量也与从前不可同日而语。比如最近风头正劲的Google，其数据库中存放的网页已达30亿之巨！
随着互联网规模的急剧膨胀，一家搜索引擎光靠自己单打独斗已无法适应目前的市场状况，因此现在搜索引擎之间开始出现了分工协作，并有了专业的搜索引擎技术和搜索数据库服务提供商。象国外的Inktomi（已被Yahoo收购），它本身并不是直接面向用户的搜索引擎，但向包括Overture（原GoTo，已被Yahoo收购）、LookSmart、MSN、HotBot等在内的其他搜索引擎提供全文网页搜索服务。国内的百度也属于这一类（注1），搜狐和新浪用的就是它的技术（注2）。因此从这个意义上说，它们是搜索引擎的搜索引擎。
（注1）：百度已于2001年9月开始提供公共搜索服务。
（注1）：搜狐二级网页搜索现已改为中搜的引擎，而新浪则已转用Google的搜索结果
来自：http://www.se-express.com/about/about.htm
—————————————————————————————————————————
中文搜索引擎的发展历史
1996年8月成立的搜狐公司是最早参与作网络信息分类导航的网站,1998年2月,搜狐推出分类目录搜索引擎.是当年Yahoo!的中国版.2000年7月12日，搜狐公司在美国纳斯达克挂牌上市(NASDAQ:SOHU)，之后努力在门户方向发展。
1997年6月创立的网易，也推出全中文搜索引擎目录,但并不是主服务。之后经过几次升级先后使用Google.baidu的后台搜索技术,但是网易还是拥有目前中文唯一的开放式目录体系ODP,2000月6月，网易在美国纳斯达克股票市场挂牌交易(NASDAQ:NTES)。
1997年10月29日北大天网正式在CERNET(教育科研网)上提供服务, 由北大计算机系网络与分布式系统研究室开发，有强大的ftp搜索功能。
1998年1月,台湾中正大学吴升教授所领导的GAIS实验室创立了Openfind中文搜索引擎,是最早开发的中文智能搜索引擎，采用GAIS实验室推出多元排序(PolyRankTM)核心技术.
1999年2月2日，新浪网开始推出新一代中文搜索引擎“新浪搜索”(SinaSearch)测试版，并于10月9日，推出了高级搜索,网站收录资源丰富，分类目录规范细致，遵循中文用户习惯。2000年4月，新浪网在美国NASDAQ上市(NASDAQ:SINA)。2000年11月1日，新浪又正式推出国内第一家综合搜索引擎,即1此搜索可对多个数据库发出请求,在关键词的查询反馈结果中，同一页面上包含目录、网站、新闻标题、新闻全文、频道内容、网页、商品信息、消费场所、中文网址、沪深行情、软件、游戏等各类信息的综合搜索结果,可选择自主切换。
1999年9月，雅虎中国网站(www.yahoo.com.cn)正式开通，继承了雅虎全球的分类目录搜索的基因,为中国互联网用户提供了强大的搜索功能。
1999年5月,hao123网之家成立,遵循简单,直接分类模式,成为万千网民上网必备利器.04年8月被百度收购.
1999年底成立于美国硅谷百度(Baidu.com，Inc)以超链分析技术为基础，推出新一代中文搜索引擎,2003年11月,百度推出全新基于社区化搜索概念的搜索产品贴吧；2005年8月5日,百度赴美上市成功。
2000年9月12日，Google也开始启用中文搜索服务。之后中文版的各种软件和功能在快速升级中.
2002年9月25日,由中国网、慧聪国际等共同打造的中国搜索联盟,为门户提供搜索技术,03年8月推出搜索门户,命名为中国搜索.
2004年6月雅虎推出全新“一搜”，这是雅虎十年历史上首个专业搜索网站。它与其网络实名、雅虎门户搜索一起构成了中国搜索市场上的“雅虎搜索系”。说名雅虎在非常注重中文市场,也很注重技术本土化。
2004年8月3日搜狐公司推出的完全自主技术开发的搜狗(www.sogou.com)互动式中文搜索引擎。以给予多个主题的“搜索提示”，帮助用户查询过程中,有效的人机交互，引导用户更快速准确定位自己所关注的内容，用户快速找到相关搜索结果。
2005年6月30日，新浪搜索引擎推出“爱问”(www.iAsk.com)专门搜索平台,这是1款新浪自主研发的搜索产品。
中文搜索发展到今天的地步,无论从产业角度还是从产品角度来看,都还有差距,看看国际搜索巨头们的前半年的收购轨迹, 也许你就会发现,搜索无定型,不要说搜索引擎就是要能搜索,他也可以是互动的如百度贴吧,也可以使资源的如图片搜索mp3搜索,发展史就是迎合用户需求不断的完善和扩张史.
Google, 3月份收购Urchin 网站信息分析公司, 5月份,收购手机社交网Dodgeball.com,
Yahoo!, 收购Konfabulator桌面软件,参股alibaba.
某些时间参考了搜索引擎十年有多少故事,如果想看看这些网站当年都是什么样子可以到web.archive.org去察看,当年的搜狐SOHOO,网易netease,新浪前身SRSNet.com等他们的域名都是跟现在不1样的.
PS,只是以大企业为标杆简单记录下，如要严格考证其实这中间也有N多花絮，诸如北极星，search163的分类目录，goyoyo的搜索，chinaren的智能搜索孙悟空等。
来自：http://zhidao.baidu.com/question/4872004.html
