o1 研发团队完整采访:Ilya早期曾参与,灵感源于AlphaGo
自从 OpenAI 的 o1 问世以来,它强大的推理能力就承包了 AI 圈近期的热搜。不需要专门训练,它就能直接拿下数学奥赛金牌,甚至可以在博士级别的科学问答环节上超越人类专家。
展示 o1 实力的 demo,我们看了不少,评估 o1 表现的评测,全网比比皆是,关于 o1 技术路线的讨论也如火如荼,引发了广泛的关注和深入的思考。
不过 o1 背后的故事,还鲜为人知,那些在幕后默默付出的团队成员们,他们的故事同样值得被讲述和铭记。
刚刚,OpenAI 发布了 o1 研发团队的完整访谈,为我们揭秘了 o1 的「成长历程」。o1 如何一步步蜕变,最终成为一个「智商高达 120」的非凡存在?他们是将强化学习和监督学习两种范式结合起来的?这背后是无数的突破与挑战,OpenAI o1 的研究人员与 OpenAI 研究团队的负责人 Bob McGrew 畅谈了研发过程中的「Aha moments」—— 那些破解瓶颈、灵感迸发、豁然开朗的瞬间。
在访谈中,他们揭秘了 o1 团队的关键人物,最早由 Jakub Pachocki 进行了一些探索,后来又和Łukasz Kaiser (Transformer 作者之一)和 Ilya Sutskever 进行了早期的探索。这可能也是为什么虽然 Ilya 已经离职,但仍出现在贡献者名单前列的理由。
o1 项目的关键时刻是 Jerry Tworek 整合了这些内容,并继续推动项目。
原视频链接:https://www.youtube.com/watch?v=tEzs3VHyBDM
以下是对访谈主要内容摘录:
什么是 o1?
Hyung Won Chung:我们将使用新名称 o1 推出一系列新模型。这是为了强调这样一个事实:与 GPT-4 等以前的模型相比,您在使用 o1 时可能会感到不同。o1 是个推理模型,它在回答你的问题之前会做更多思考。我们将发布两个模型:o1 preview,也就是 o1 的内容预览版,还有采用了与 o1 相似的训练框架、更小更快的 o1 mini。希望你喜欢我们的新命名方案 o1。
什么是推理?
Giambattista Parascandolo:可以这么理解:对于一些需要立即回答的简单问题,例如,「意大利的首都是哪里?」,不用想太多,就知道答案是罗马。但是如果想要解一个复杂的谜题、想精心策划一份商业企划书、或者想写小说,那可能需要很多思考。想得越多,可能成果越好。因此,可以说推理是一种把思考时间转化为更好成果的能力。
…
备注:其中的图片链接展示需要保留,其余 HTML 标签已被移除。
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB。
o1 研发团队完整采访:Ilya早期曾参与,灵感源于AlphaGo