Goodfire 领投 5000 万美元 A 轮融资,推动 AI 可解释性研究
Funding from Menlo Ventures powers Goodfire’s mission to decode the neurons of AI models, reshaping how they’re understood and designed
今天,领先的 AI 可解释性研究公司 Goodfire 宣布获得 5000 万美元 A 轮融资,此轮融资由 Menlo Ventures 领投,并得到了 Lightspeed Venture Partners、Anthropic、B Capital、Work-Bench、Wing、South Park Commons 和其他知名投资者的参与。{ width=60% }
这笔融资在公司成立不到一年的时间里将支持 Goodfire 扩大其研究计划并与客户共同开发公司标志性的可解释性平台 Ember。
“AI 模型通常是不可预测的黑匣子,”Menlo Ventures 的投资者 Deedy Das 表示,“Goodfire 的世界级团队——来自 OpenAI 和 Google DeepMind——正在打开这个黑匣子,帮助企业真正理解、引导和控制他们的 AI 系统。”
尽管 AI 取得了显著的进展,但即使是领先的研究人员也对神经网络的真实功能知之甚少。这种知识差距使得神经网络的工程设计变得困难,容易出现不可预测的故障,并且随着这些强大系统变得越来越难以引导和理解,部署风险也逐渐增加。
“没有人理解 AI 模型失败的机制,因此没有人知道如何修复它们,”Goodfire 的联合创始人兼 CEO Eric Ho 说。“我们的愿景是构建工具,使神经网络从内部轻松理解、设计和修复。这项技术对于构建安全而强大的基础模型的下一个前沿至关重要。”
为了解决这一关键问题,Goodfire 正在大力投资于机械可解释性研究——这是逆向工程神经网络并将这些洞察转化为通用模型不可知平台的相对新兴科学。Goodfire 的平台 Ember 解码 AI 模型内部的神经元,使用户能够直接、可编程地访问其内部思维。通过超越黑匣子的输入和输出,Ember 解锁了全新的方式来应用、训练和对齐 AI 模型——让用户发掘模型中隐藏的新知识,精确地塑造其行为,提升其性能。
“随着 AI 能力的发展,我们理解这些系统的能力也必须跟上。我们对 Goodfire 的投资反映了我们相信机械可解释性是帮助我们将黑匣子神经网络转变为可理解、可操作的系统的最佳选择之一,这对负责任地开发强大 AI 是关键基础,”Anthropic 的 CEO 和联合创始人 Dario Amodei 说。
展望未来,Goodfire 通过与前沿模型开发者的定向合作加速其可解释性研究。通过与行业创新者紧密合作,Goodfire 将迅速增强和巩固可解释性研究的应用。“与 Goodfire 的合作在从我们的 DNA 基础模型 Evo 2 中解锁更深层的洞察方面发挥了重要作用,”Arc Institute 的联合创始人 Patrick Hsu 表示,“他们的可解释性工具使我们能够提取加速我们科学发现过程的新生物概念。”
该公司还计划发布更多研究预览,突出在图像处理、先进推理语言模型和科学建模等多个领域的最先进可解释性技术。这些努力承诺揭示新的科学洞察,并从根本上重塑我们如何与 AI 模型互动和利用它们的理解。
Goodfire 团队汇集了来自 OpenAI 和 Google DeepMind 的顶尖 AI 可解释性研究人员和经验丰富的创业运营者。Goodfire 的研究人员帮助建立了机械可解释性领域,撰写了三篇引用量最高的论文,推动了稀疏自编码器(SAEs)用于特征发现、自动可解释性框架及揭示 AI 模型中隐藏知识等方面的进展。
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB。
Goodfire 领投 5000 万美元 A 轮融资,推动 AI 可解释性研究