研究提出了一种新颖的可控制相机姿态的图像到视频生成框架 ——CamCo,用于生成高质量、三维一致的视频。通过引入 Plücker 坐标,为预训练的图像到视频生成器提供了精确参数化的相机姿态输入。
为了增强生成的视频的三维一致性,研究人员在每个注意力模块中集成了极线约束注意力模块,以对特征图施加极线约束。此外,通过结构光算法对真实世界视频进行微调,以改进对象运动的合成效果。实验结果表明,与之前的模型相比,CamCo 在三维一致性和相机控制能力方面有显著的改进,同时能够有效地生成合理的对象运动。
CamCo 是一个全新的可控制相机的图像到视频生成框架,可以生成高质量、三维一致的视频。CamCo 通过使用 Plücker 坐标和极线约束注意力块将相机参数注入模型中。研究人员还引入了一个数据筛选流程,用于处理带有动态主体的真实世界视频,并通过这个筛选后的数据集对 CamCo 进行微调,以提高其生成具有相机自我运动和动态主体的视频的能力。
给定一张单独的图片和一个相机序列作为输入,CamCo 模型可以合成符合相机条件并具有三维一致性的视频。我们支持室内、室外、以物体为中心的和文本到图像生成的图片。最后一行的提示为 "一个繁茂的花园,里面有各种颜色的盛开的玫瑰,中间蜿蜒着一条石子路",第一帧的相机姿态以紫色显示。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
据“常州发布”消息,6 月 9 日,常泰长江大桥以“毫米级”精度顺利合龙,实现全线贯通,这座世界最大跨度斜拉桥预计明年 4 月底前具备通车条件。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。