Goodfire完成5000万美元A轮融资,以推动AI可解释性研究
来自Menlo Ventures的资金推动Goodfire解码AI模型的神经元,重塑其理解和设计方式
今天,领先的AI可解释性研究公司Goodfire宣布完成5000万美元的A轮融资,融资由Menlo Ventures牵头,Lightspeed Venture Partners、Anthropic、B Capital、Work-Bench、Wing、South Park Commons以及其他知名投资者参与。{ width=60% }
这笔资金是在成立不到一年的时间里支持Goodfire扩展研究计划和开发公司旗舰可解释性平台Ember,与客户合作推进。
“AI模型历来被视为非确定性黑箱,”Menlo Ventures的投资者Deedy Das表示。“Goodfire的世界级团队——来自OpenAI和Google DeepMind——正在破解这个黑箱,帮助企业真正理解、引导和控制他们的AI系统。”
尽管AI在各方面取得了显著进展,但即使是领先的研究人员也对神经网络的真实功能知之甚少。这一知识鸿沟使得神经网络难以工程化,易于出现不可预测的故障,并随着这些强大系统变得越来越难以引导和理解,变得越来越有风险。
“没有人理解AI模型失败的机制,因此没有人知道如何修复它们,”Goodfire的联合创始人兼首席执行官Eric Ho表示。“我们的愿景是构建工具,使神经网络从内部更易于理解、设计和修复。这项技术对于构建下一个安全且强大的基础模型的前沿至关重要。”
为了解决这一关键问题,Goodfire正在大力投资机制可解释性研究——反向工程神经网络并将这些见解转化为通用、模型无关平台的相对新兴科学。Goodfire的平台Ember解码AI模型内部的神经元,使其能够直接、可编程地访问其内部思维。通过不再仅仅依赖黑箱输入和输出,Ember解锁了全新的应用、训练和对齐AI模型的方式——允许用户发现模型中隐藏的新知识,精确地塑造其行为,并提高其性能。
“随着AI能力的提高,我们理解这些系统的能力也必须跟上。我们对Goodfire的投资反映了我们对机制可解释性是帮助我们将黑箱神经网络转化为可理解、可引导系统的最佳选择之一的信念——这是负责任地开发强大AI的关键基础,”Anthropic的首席执行官兼联合创始人Dario Amodei表示。
展望未来,Goodfire通过与前沿模型开发者的针对性举措加速其可解释性研究。通过与行业创新者密切合作,Goodfire将迅速增强和巩固可解释性研究的应用。“与Goodfire的合作对我们解锁Evo 2,我们的DNA基础模型,深层洞察至关重要,”Arc Institute的联合创始人Patrick Hsu表示,他是Goodfire最早的合作伙伴之一。“他们的可解释性工具使我们能够提取新颖的生物概念,加速我们的科学发现过程。”
该公司还计划推出额外的研究预览,突出各个领域(如图像处理、高级推理语言模型和科学建模)的最先进的可解释性技术。这些努力将揭示新的科学见解,并从根本上重塑我们与AI模型互动和利用的理解。
Goodfire团队汇集了来自OpenAI和Google DeepMind的顶级AI可解释性研究人员和经验丰富的初创公司运营者。Goodfire的研究人员帮助建立了机制可解释性领域,撰写了三篇被引用最多的论文,并开创了诸如用于特征发现的稀疏自编码器(SAE)、自解释框架和揭示AI模型中隐藏知识等进展。
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB。
Goodfire完成5000万美元A轮融资,以推动AI可解释性研究