阿里通义发布全新VACE模型 一统视频生成与编辑

 　　3月14日消息，近日，阿里巴巴发布了首个基于视频DiT架构的全能框架VACE，旨在统一视频生成与编辑任务。这一创新框架通过概念解耦策略和上下文适配器结构，实现了对多种任务的自适应处理，显著提升了视频合成的多功能性和高效性。

　　一、创新性：统一框架与多功能整合

　　据网经社产业电商台(B2B.100EC.CN)查询DeepSeek后获悉，VACE框架的推出，标志着视频生成与编辑领域迈入了一个新的阶段。其创新性主要体现在以下几个方面：

　　1. 统一框架：VACE是首个基于视频DiT架构的全能模型，支持广泛的视频生成与编辑任务，包括参考视频生成、视频到视频编辑、mask视频到视频编辑等。这种统一框架不仅减少了服务部署和用户交互的成本，还通过任务组合扩展，提供了多功能和高效的视频合成解决方案。

　　2. 概念解耦与上下文适配器：通过概念解耦策略，VACE能够理解需要保留和修改的部分，从而更好地处理编辑和参考任务。同时，可插拔的上下文适配器结构通过时空协同表示，将不同任务的概念注入模型，使其具备自适应处理统一任务的能力。

　　二、技术实现：DiT架构与视频条件单元

　　1. 扩散Transformers(DiTs)：作为基础视频框架，DiTs结构为VACE提供了强大的生成能力和灵活性，使其能够处理复杂的视频生成与编辑任务。

　　2. 视频条件单元(VCU)：VACE设计了一个统一的接口VCU，整合了编辑、参考和mask等多种模态的输入，实现了多任务的高效整合与处理。

　　3. 上下文适配器：通过上下文适配器结构，VACE能够将不同任务的概念注入模型，实现自适应处理，从而提升模型的灵活性和适应性。

　　三、应用效果：性能竞争力与用户创造力提升

　　1. 性能竞争力：VACE在多种视频生成与编辑任务中表现出色，能够处理长视频、多条件和参考生成以及连续视频编辑等复杂场景，展现了其在视频合成领域的创新性和竞争力。

　　2. 任务组合的多样性：通过基础任务的组合扩展，VACE构建了如长视频重新渲染等场景，提供了多功能和高效的视频合成解决方案，满足了多样化的用户需求。

　　3. 用户创造力的提升：通过整合不同任务的能力，VACE解决了现有视频生成模型的挑战，赋予用户更大的创造力，使其能够更自由地表达创意和实现个性化需求。

　　四、行业影响：推动视频生成与编辑技术的发展

　　1. 技术标准化：VACE的统一框架和多功能整合能力，有望推动视频生成与编辑技术的标准化发展，为行业提供更高效、更灵活的解决方案。

　　2. 用户体验提升：通过降低服务部署和用户交互成本，VACE能够显著提升用户体验，使其能够更便捷地实现视频生成与编辑需求。

　　3. 行业创新驱动：VACE的创新性和竞争力，将激励更多企业和研究机构投入视频生成与编辑技术的研发，推动行业技术的不断进步和创新。