雅虎开源商业级搜索引擎Vespa

 

雅虎开源了商业级的大数据处理引擎 Vespa。vespa的前身为AlltheWeb,是雅虎在2003年收购的一家挪威公司。雅虎收购alltheweb.com后的过去几年,团队从头开始重写了大部分引擎,将经验融入现代技术平台。其架构和功能除了搜索引擎还包含了:大规模集群, 高性能检索,硬实时,和强大的排序功能。

Vespa 被用于 Yahoo.com、Yahoo News、Yahoo Sports、Yahoo Finance、Yahoo Gemini、Flickr 等众多产品,每天处理和服务数十亿次的文档访问请求,同时还响应搜索查询、提供推荐、个性化内容和广告。Vespa 每秒处理和服务的内容和广告大约为 9 万次,延迟不到几十毫秒。拿Flickr举例,Vespa在几百亿图像上按照每秒数百次查询的规模执行关键字和图像搜索。此外,Vespa通过雅虎Gemini每天提供超过30亿个本地广告请求,每秒140k个请求。

Vespa可以专注于创建利用能够实时计算大型数据集的功能。通过使用Vespa,程序员可以在不到十分钟的时间内获得一个应用程序,并按照文档运行。

-------------------------------------------------------------------------

https://github.com/vespa-engine/vespa

https://docs.vespa.ai/en/getting-started.html

(Documentation for https://vespa.ai, the open big data serving engine .

docs.vespa.ai/)

https://github.com/vespa-engine/vespa#install

https://github.com/vespa-engine/sample-apps

https://github.com/vespa-engine/sample-apps/tree/master/model-inference