2月2日 消息:又有团队开卷视频生成了!这个项目在视频生成方面非常优秀。它使用了一致性模型(Consistency Model, CM)的启发,简化了预训练的图像扩散模型以加速采样过程。这一模型还成功扩展到了潜在一致性模型(Latent Consistency Model, LCM),用于条件图像生成,最终形成了AnimateLCM。
AnimateLCM能够在很少的步骤中生成高质量的视频。相比直接在原始视频数据集上应用一致性学习,该项目提出了一种解耦的一致性学习策略,分别对图像生成的基础知识和运动生成的基础知识进行提炼。这种策略提高了训练效率并提升了生成视频的视觉质量。
此外,为了结合稳定扩散社区中的即插即用适配器来实现各种功能,比如使用ControlNet进行可控制的视频生成,该项目提出了一种高效的策略。这个策略不仅可以将现有的适配器调整到文本条件视频一致性模型中,还可以从零开始训练适配器,而不会影响采样速度。
在基于图像的视频生成和基于布局的视频生成中,AnimateLCM都取得了优异的成绩。从演示来看视频效果也很不错,支持现有 SD 生态 Animatediff 的所有控制方式,将LCM用在视频生成只需要4步推理就可以生成视频。目前,AnimateLCM暂未发布代码和权重,期待能够尽快上代码。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
近日,德国柏林国际电子消费品展览会(IFA2024)隆重举办。凭借在核心技术、产品设计及应用方面的创新变革,全球领先的智能终端企业TCL实业成功斩获两项“IFA全球产品设计创新大奖”金奖,有力证明了其在全球市场的强大影响力。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。