Helm.ai宣布推出VidGen-1
Helm.ai,一家领先的高端ADAS、四级自动驾驶和机器人自动化的AI软件提供商,今天宣布推出VidGen-1,这是一款生成式AI模型,用于生成高度逼真的驾驶场景视频序列,用于自动驾驶开发和验证。{ width=60% }
这一创新的AI技术跟随Helm.ai宣布推出GenSim-1(用于AI生成的标记图像)的消息,对预测任务和生成式模拟都具有重要意义。
经过对数千小时多样化驾驶镜头素材的训练,Helm.ai的生成式AI视频模型利用创新的深度神经网络(DNN)架构,结合Deep Teaching ——一种高效的无监督训练技术——产生逼真的驾驶场景视频序列。这些视频以384 x 640的分辨率、最高30帧每秒的可变帧率和长达数分钟的长度生成,可以随机生成而无需输入提示,也可以通过单个图像或输入视频进行提示。
VidGen-1能够生成不同地理位置的驾驶场景视频,适用于多种类型的摄像机和车辆透视。该模型不仅呈现高度逼真的外观和时域一致的对象运动,还学习并再现类似人类驾驶行为,生成自车辆和周围行为者根据交通规则行动的运动。该模型模拟了各种国际城市,涵盖城市和郊区环境,各种车辆、行人、自行车骑行者、交叉口、转弯、天气条件(如雨、雾)、光照效果(如耀眼灯光、夜间驾驶)甚至湿润道路表面、反光建筑墙和自车辆引擎盖上的准确反射的真实视频素材。
视频数据是自动驾驶中信息最丰富的感知模态,来自成本效益最高的传感器——摄像头。然而,视频数据的高维度使得AI视频生成成为一项具有挑战性的任务。在准确建模移动场景的动态,因此视频逼真度方面实现高水平的图像质量是视频生成应用中一个众所周知的难题。
Helm.ai的首席执行官兼联合创始人Vladislav Voroninski表示:“我们在视频生成的生成式AI方面取得了技术突破,开发出VidGen-1,为自动驾驶领域设定了新的标准。将我们多年来一直在开发的Deep Teaching 技术与生成式DNN架构的额外内部创新相结合,结果是一种高效且可扩展的方法,用于生成逼真的AI生成视频。我们的技术是通用的,可以在无需更改的情况下同样有效地应用于自动驾驶、机器人技术以及任何其他视频生成领域。”
与传统非AI模拟相比,VidGen-1为汽车制造商提供了明显的可扩展优势,通过快速资产生成和赋予模拟中的代理人 sophisticated 的真实生活行为。Helm.ai的方法不仅减少了开发时间和成本,还有效地缩小了“模拟到现实”差距,提供了一个高度逼真和高效的解决方案,极大地拓宽了基于模拟的培训和验证的适用范围。
Voroninski补充说:“预测视频中的下一帧类似于预测句子中的下一个单词,但要复杂得多。”“生成逼真的驾驶场景视频序列代表了自动驾驶预测的最先进形式,因为它牵涉到准确模拟现实世界的外观,包括意图预测和路径规划作为堆栈最高层次的隐式子任务。这种能力对于自动驾驶至关重要,因为从根本上讲,驾驶就是预测下一步会发生什么。”
感谢阅读!如果您对AI的更多资讯感兴趣,可以查看更多AI文章:GPTNB。
Helm.ai宣布推出VidGen-1