保守派中间派原生派,谁将主导搜索引擎未来三十年?

拥有智能索引库、专属知识库、混合大模型调度系统的 AI 原生搜索,能否成为正统,引领搜索引擎的下一个三十年?

如今的科技界,没有比 AI 搜索更强的新共识了。

在过去的几十年里,以 Google、百度为代表的「搜索引擎」,和以抖音、TikTok 代表的「推荐引擎」,轮番引领了信息经济的发展。


而今天,大语言模型( LLM )的出现,有望进一步增强搜索引擎的地位和价值,让它以 AI 搜索的新身份,再次引领人工智能应用的浪潮。

一、保守还是激进?涌向 AI 搜索的三大支流

AI 正成为「端掉」传统搜索引擎业务的最大变量,但如何实现 AI 搜索,争议不绝。目前,涌向 AI 搜索的众多玩家已经分化出三股主要支流,各自蜿蜒前行:保守派,中间派,原生派。

保守派以 Google AI Overviews,和国产搜索「AI 智能回答」为代表,即在现有搜索引擎上添加 AI 功能模块,增强传统搜索性能。

以 New Bing 为代表的中间派,虽然通过 AI 对搜索进行了更加深入的改造,但保留了传统搜索引擎这个「基础设施」,也有人称之为「答案引擎」。

最激进的当属 Perplexity、360AI 搜索为代表「原生派」——从 0 到 1 打造 AI 原生的搜索引擎,因其回答质量更高,信息结构化更强,也被称为「知识引擎」。

业内人士认为,在人工智能时代,如果按照「含 AI 量」来为搜索引擎做代际划分,那么:

保守派仅对搜索引擎做了「插件」化改造,AI 含量最低,只能算是搜索引擎 1.0。

中间派对传统搜索引擎的改造比较深入,AI 含量明显上升,具有较强的生成回答的能力,可以称之为搜索引擎 2.0。

「为 AI 而生」的原生搜索引擎,将 AI 作为系统中无法分割的一部分,含 AI 量最高,被称为搜索引擎 3.0。

如果用户仅需网址导航,传统搜索引擎和搜索引擎 1.0 完全够用。一旦搜索需求变复杂,包含推理、计算等要求,不同代际的搜索引擎表现差距,就立刻凸显出来。

举个例子。我们先问 Google,「《里斯本丸沉没》豆瓣评分高达 9.3,口碑炸裂,为什么票房才 1000…

二、AI 原生虽好,「三大支柱」门槛高

要打造一个真正的 AI 搜索引擎,门槛和投入不可谓不高。

360 集团副总裁、AI 产品负责人梁志辉估算,要打造一个通用搜索引擎,至少需要 20 亿至 40 亿元的预算。这还不包括网页排名的服务器成本、终端厂商合作费用和人力资源开支。这也正是为何全球只有少数几家通用搜索引擎的原因。

从技术架构层面来看,一个可以被称为「知识引擎」的 AI 原生通用搜索引擎,包括了「智能索引库+专属知识库+混合大模型智能调度系统」三大支柱。

1、智能索引库

对于一个搜索引擎而言,自建索引库也非常重要,但同时成本极为高昂。即使是传统搜索引擎,爬取 1000 万个网页就需要投入百万级预算。而这仅仅是冰山一角。

因此,除了极少数创业公司选择自建小规模的垂直索引库,市面上的多数所谓 AI 搜索产品,实际上依赖于购买 Google 或微软 Bing的 API 服务,这又带来两个显著问题。

首先,成本高昂。调用 Google 或 Bing 的索引库需要购买昂贵的第三方服务,这可能会吞噬企业的全部利润,使得项目难以维系。

其次,知识理解受限。若选择接入现有的索引库服务(如 Perplexity AI ),通常只能获取与查询相关的约 100 字信息。这种限制使得大模型无法对内容全文进行通读和深入分析,导致对许多知识的理解变得片段化和表面化。

作为 2012 年就开始做搜索的老牌厂商,360 搜索已经建立了约由 1000 亿个网页构成的动态更新索引库,这也为 360AI 搜索奠定了基础。

但对于 AI 搜索来讲,索引技术和索引库同样重要。在传统关键词索引之外,360AI 搜索使用向量索引、KV 索引等技术,对索引库进行了重构,使得索引效率大幅提升。

2、专属知识库

知识库是知识引擎的「高质量内容原料」,更多用于复杂推理和深度理解任务。但公域的内容质量整体下降,优质内容逐渐被有丰富内容的 App 分走。通过自建、购买和合作等方式,360AI 搜索的知识库收录了大量的高质量内容来源,包括但不限于论文、知识视频、访谈节目、课堂录音、专业网站等。

而且,通过对知识库引入了 GraphRAG,利用知识图谱进行检索,处理复杂查询更加得心应手。这使得专属知识库内容能够以大模型最容易理解和计算的方式来抓取、索引、召回,让优质知识真做到「可计算」,「可理解」。

3、混合大模型智能调度系统

生成式大语言模型,是 AI 搜索能够输出结构化高质量内容的关键。但一个直接接入大模型的 AI 搜索并不高效,也不足够智能,因为每一个大模型都有短板。360AI 搜索的解决方案是,构建了一个 CoE( Collaboration-of-Experts,专家协同)技术架构,用实现了对包括 360 智脑在内 16 家主流国产大模型厂商、54 款大模型,和大量的专家模型的智能调度。

CoE 架构的技术原理,和近日刚刚发布的 OpenAI o1-preview 大模型理念相同、方法类似,都是基于强化学习和「思维链」 ,大幅优化了记忆、检索、推理机制,提升了大模型解决复杂问题的能力。

只不过不同点在于,OpenAI o1遵循的可能是「双系统理论( Dual Process Theory)」,是 GPT 和 o 系列结合思维链的融合系统,前者用于「快思考」,后者实现「慢思考」。而 CoE( Collaboration-of-Experts,专家协同)架构则集合了数量更多的大模型和专家模型,是通过思维链和「多系统协同」的方式实现「快思考」和「慢思考」。另一个不同点在于,CoE 架构的发布时间,要比 o1 早了接近两个月。

这种分工协作的模式,使得 CoE 架构在推理任务中的表现更加灵活且精准,尤其在处理复杂问题时,能与 OpenAI o1 媲美,甚至在某些场景下更胜一筹。


三、「革自己的命」,鲶鱼无惧

没错,推理成本,就是 AI 搜索商业模式能否闭环的关键因素。

对于传统搜索引擎而言,Google 的单次搜索成本仅为 0.2 美分。而以 360AI 搜索为代表的 AI 原生搜索引擎,单次搜索有 7-15 次大模型调用,推理成本则要高得多,但这个问题并非无解。

事实上,通过巧妙地选择和整合不同的 AI 模型,CoE 架构可以充分利用各模型的分析优势和差异化定价结构,以此提升产品性能并控制成本。国内第三方大模型激烈价格战也为 AI 搜索成本的整体下降奠定了基础。此外,通过为大模型厂商提供用户和「bad case」反馈,360AI 搜索与大模型厂商之间已经形成了互利合作关系。从长远趋势来看,情况也在好转,推理成本呈快速下降态势,有点类似摩尔定律。

尽管 AI 搜索的商业模式仍未完全建立,但这更多只是一个时间问题。微软 CEO 纳德拉强调:「据我所知,搜索业务是地球上软件业务中最赚钱的,我所需要的是更多的用户。」因此,我们完全不必担心一个大用户量的搜索引擎会一直赔钱。据了解, 360AI 搜索已经实现了商业闭环。

创始人周鸿祎曾把 360 比喻为中国互联网的「鲶鱼」,不是巨头,不是鲨鱼。这条「鲶鱼」,早在十二年前,就以「3百大战」的方式,搅动了中国搜索市场,至今仍然位列中国搜索引擎市场第二名。

十二年后,人工智能浪潮来袭,市场风云再起。秉承一贯的快速行动力,360 这条「鲶鱼」仅用八、九个月时间就迅速超越 Perplexity AI,一跃成为全球规模最大的 AI 原生搜索引擎,而且势能不减,依然全球增速最快。

纵观全球商业史,在几乎每一场需要「自我革命」的科技浪潮中,行业老二都往往比行业老大更果断、更有勇气,也更具灵活性。庞大的沉没成本迫使传统巨头们采取「保守式」创新,以期步步为营,柯达、诺基亚、谷歌和百度亦是如此。而另一方面,对于「没有历史包袱」的初创企业而言,AI搜索领域也并非「颠覆式创新」的理想突破口。

目前,AI 搜索还处于快速发展过程中,搜索体验将继续快速提升,与传统搜索引擎的差距也将越拉越大。AI 搜索会让搜索引擎从信息检索工具,进化成帮助用户完成知识探索的「知识引擎」,并最终,凭借不可逆的历史趋势,取代传统搜索引擎,成为用户检索信息、获取知识的首选。

或许到那时大多数人才惊觉,今天我们以为的搅动市场的「鲶鱼」,原来就是一条「鲸鱼」。

感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB

保守派中间派原生派,谁将主导搜索引擎未来三十年?

https://www.gptnb.com/2024/09/20/2024-09-19-auto5-rA73K3/

作者

ByteAILab

发布于

2024-09-20

更新于

2025-03-21

许可协议