李开复：不参与“价格战”、模型盲测国内第一欢迎PK

李开复的底气来自 Yi-Large 一直以来不错的测评表现。而最近的 5 月 20 日，在 LMSYS 盲测竞技场最新排名中，零一万物的最新千亿参数模型 Yi-Large 总榜排名世界第七，中国大模型中第一，已经超过 Llama-3-70B、Claude 3 Sonnet，中文榜更是与 GPT4o 并列第一。

---

零一万物也因此成为总榜上唯一一个自家模型进入排名前十的中国大模型企业。在总榜上，GPT 系列占了前十位的四个名额。以机构排序，零一万物 01.AI 仅次于 OpenAI、Google、Anthropic，正式进入国际顶级大模型企业阵营。

让零一万物振奋的原因是 LMSYS 是大模型金标准，都是第三方匿名，而且每个模型都有数万用户评估，结果可信度非常高。OpenAI 的 Sam Altman 和 Google CTO Jeff Dean 都在最近的模型发布中引用了该测试结果。

为了提高 Chatbot Arena 查询的整体质量，LMSYS 实施了重复数据删除机制，并出具了去除冗余查询后的榜单。这个新机制旨在消除过度冗余的用户提示，如过度重复的“你好”。这类冗余提示可能会影响排行榜的准确性。LMSYS 公开表示，去除冗余查询后的榜单将在后续成为默认榜单。

在去除冗余查询后的总榜中， Yi-Large 的 Elo 得分更进一步，与 Claude 3 Opus、GPT-4-0125-preview 并列第四。

国内大模型厂商中，智谱 GLM4、阿里 Qwen Max、Qwen 1.5、零一万物 Yi-Large、Yi-34B-chat 此次都有参与盲测。在总榜之外，LMSYS 的语言类别上新增了英语、中文、法文三种语言评测，开始注重全球大模型的多样性。Yi-Large 的中文语言分榜上拔得头筹，与 OpenAI GPT-4o 并列第一。

在分类排行榜中，编程能力、长提问及最新推出的 “艰难提示词” 的三个评测是 LMSYS 所给出的针对性榜单，以专业性与高难度著称，可称作大模型“最烧脑”的公开盲测。

在编程能力（Coding）排行榜上，Yi-Large 的 Elo 分数超过 Anthropic 当家旗舰模型 Claude 3 Opus，仅低于 GPT-4o，与 GPT-4-Turbo、GPT-4 并列第二。长提问（Longer Query）榜单上，Yi-Large 同样位列全球第二，与 GPT-4-Turbo、GPT-4、Claude 3 Opus 并列。

艰难提示词（Hard Prompts）则是 LMSYS 为了响应社区要求，新增的排行榜类别。这一类别包含来自 Arena 的用户提交的提示，这些提示则经过专门设计，更加复杂、要求更高且更加严格。LMSYS 认为，这类提示能够测试最新语言模型面临挑战性任务时的性能。在这一榜单上，Yi-Large 处理艰难提示的能力也得到印证，与 GPT-4-Turbo、GPT-4、Claude 3 Opus 并列第二。

在此之前，各种静态榜单几乎成为厂商必争的地方。在零一万物模型训练负责人黄文灏看来，所谓打榜主要是厂商要把模型某些单一能力做提升，但比较的时候大家可能并不了解，会带来一些 bias。LMSYS 提供了一种更接近于用户真实场景的评测方式，所以可以作为一个更好的衡量标准。

“我们的计划是从最小到最大的模型都能够做到中国最好。”李开复表示。一方面，根据 scaling law，越大尺寸的模型约有可能达到 AGI；另一方面，小一些的模型也有各种应用机会。因此，零一万物的打法是“一个都不放过”，并且在每一个潜在尺寸上做到性能最高、推理成本最低。

不过另一个现实是，零一万物 GPU 存量只有 Google、Microsoft 的 5%，但李开复认为这并不代表企业就没有机会。

“能用同样一张卡挤出更多的价值，这是今天我们能够达到这些成果的重要原因之一。”李开复说道。

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。