把Waymo玩成GTA游戏！全生成式的车辆行驶轨迹视频合成器来了

来自中科院自动化所的团队提出 FreeVS，一个全生成式的新视角合成方法。相较于仅能在记录的车辆行驶原轨迹上渲染高质量相机视角的基于场景重建的方法，FreeVS 能够作为生成引擎渲染真实场景中任意车辆行驶轨迹下的视频。

---

FreeVS 可被直接部署于任何测试场景，而无需负担通常耗时 2-3 小时的场景重建过程。

论文链接：https://arxiv.org/abs/2410.18079
项目主页：https://freevs24.github.io/

以生成模型合成真实场景中的相机成像

现有驾驶场景中的新视角合成方法多遵循「场景重建 - 新视角渲染」的管线，依靠重建得到的 NeRF 或 3D-GS 等场景表示来渲染新视角下的成像。…

---

Fair use rationale: This article discusses the development of FreeVS, an innovative method for synthesizing new camera perspectives in driving scenes, using the Waymo dataset. The article provides insights into the capabilities of FreeVS in simulating vehicle movements and editing scenes, showcasing its potential applications in creating realistic simulated driving scenarios. The information presented here is for educational purposes and analysis within the field of artificial intelligence and computer vision.

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。