草莓难救被“月抛”的AI对话产品?
文章来源:AI鲸选社
原文链接:https://mp.weixin.qq.com/s/UH4jeCMXIUWyh1klXW-i4g
OpenAI揭开草莓模型神秘面纱,能不能算GPT-5,坊间争议声音很大。
这就是今日凌晨一点,OpenAI发布的两个模型:o1 mini,o1 preview。
据官方消息,与GPT-4一样,OpenAI o1也以AI对话和API接口的形式呈现;而与GPT-4系列不同的是,o1可以解决比GPT时期的科学、编码和数学模型更难的问题。具体来看,之前的GPT模型旨在模仿其训练数据中的模式,而o1的训练旨在让其独立解决问题。
意味着o1模型可以像人一样,需要花更多的时间去思考问题,尝试不同的策略,甚至能意识到自己的错误。
听着很厉害对不对?但实际4O、O1等大模型“寄生”的AI对话类产品,他们的用户数并不高。
而据QuestionMobile,AIGC APP在工作日期间的活跃度高于双休日,推测现阶段AI与用户办公场景的适配性更强,AI主要围绕工作场景,为用户生成文本、图片等内容信息。
o1模型虽在物理、化学、生物、编程等领域表现得像博士生一样好,但对与编程能力来说,755万程序员占国内人口不足1%,可用武之地并不多,对C端大多数用户来说带来的效益并不高。
尤其近日,AI对话类App的用户留存问题被推至风口浪尖,更衍生出了“大模型六小虎泡沫即将破灭”的说法,AI对话的处境岌岌可危。尽管阿里原技术副总裁贾扬清已经提出质疑,下图30日国产5大AI对话类产品留存率接近0,这一数据应该不准确,但AI对话现在确实有一点“盛名之下,其实难副”
根据QuestMobile 权威数据显示,头部AIGC APP运营数据活跃率低,均在20%以下;忠诚度方面,3日留存均在50%以下;流失风险高,部分APP的卸载率在50%以上。
坐拥数亿注册用户但日活很低的AI对话类产品,新的草莓大模型能否拯救呢?
9.11还是9.9大?AI界的亘古难题
曾经AI对话因回答错“9.11还是9.9大”被热议,现在国内各家都迭代了多代大模型,文心、豆包、Kimi等都能答对这道简单的数字题。但是OpenAI新更新的o1模型却还是沉迷自己不知名的逻辑怪圈里,找不到正确答案。
但国内大模型也并没有领先多少,但当我们问对话大模型一些客观的问题,如“草莓的单词里有几个r”、“打了警犬算袭警吗”等问题时,就会发现,这个刚刚还无所不能的AI助手突然变得手舞足蹈、不知所云了起来。
目前来说,对话大模型在简单的场景仍易漏洞百出,网友戏言:就这?取代我们人类?
诚然,大模型幻觉率高的问题,始终制约着AI对话在C端的渗透。专注于用户体验的研究机构Nielsen Norman Group在23年9月发布的一篇研究文章中提到,在曾经使用过AI工具的人中,大多数(78%)将 AI 工具用于工作和个人目的;8%的人仅将 AI 用于个人用途。
而在精益求精的工作用途中,大模型幻觉显得更加致命。不仅如此,工作场景中精确的指令反而更易让大模型“发懵”,AI对话的表现也并不出色。
在十字路口与脱口秀演员毛东的播客中,毛东提到,在用AI对话启发脱口秀文本创作的过程中,需要提前对对话模型进行5分钟左右的预训练,而预训练后对话AI生成的稿件也并不能直接起作用。输入一些稍复杂的指令,如要求大模型同时将“模仿路易·C.K.脱口秀风格”、“加入结婚话题的段子”、“带一些北京方言”融入文本创作,大模型就会分不清重点,生成的脱口秀文本索然无味。
同样的,Nielsen Norman Group的用户研究也指出,在使用对话AI时用户几乎总是进行多步迭代,因为人工智能无法准确提供用户想要的东西——它只能猜测意图。假如问对话AI“从上海出差到北京,近十五天有什么天气变化?有哪些穿衣建议”,则需要先对AI下达查询近15日天气的指令,然后引导其回答上海与北京的温度差异,以及针对北京温度进行穿衣建议。
然而,对于同一问题,似乎国内AI对话还有部分进步空间,Claude、ChatGPT的回答更精准一些。
(接下来内容较长,请见原文链接:https://www.aixinzhijie.com/article/6846716)
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB。
草莓难救被“月抛”的AI对话产品?