PR+AI重新定义视频剪辑，Sora、Pika全接入，AI视频创企还有的玩吗？

　　还记得网友们用PS的Generative Fill花式整活的盛况吗?

　　接下来，被网友玩坏的可能要轮到PR了。

　　无论你是专业的视频剪辑师，还是业余爱好者，对Premiere Pro(简称PR)这款软件都一定不陌生。

　　前几天，Adobe官方发布了一条视频，快、准、狠地演示了PR即将上线的3个AI功能——对象添加、对象删除和生成扩展。

　　用户可以直接在PR内调用Sora、Pika、Runway等第三方AI视频模型，来生成视频片段。

　　同时，Adobe自研的Firefly系列模型也将集成进PR。

　　相比于近年来的小修小补，这次更新可以说是一次大重构。

　　Adobe创意产品部高级副总裁Ashley Still表示，Adobe正在重新构想视频创作流程的每一个步骤，为创作者提供高效、便捷、易用的功能。

　　PR+AI，像PS一样P视频

　　目前，Adobe旗下的生成式AI模型Firefly已经广泛应用于Photoshop、illustrator和Adobe Express中。

　　作为对OpenAI的Sora、谷歌的Imagen2等生成式AI视频模型的回应，Adobe表示，它们正在Firefly的基础上训练一个能够生成和编辑视频的全新模型，但尚未透露这个模型何时推出。

　　眼下，让我们来看看PR将在今年晚些时候更新的几个AI功能。

　　视频元素替换

　　如果你想要修改视频画面中的某个特定对象或区域，而不是替换整个视频素材，常用的做法是使用遮罩/图层，覆盖想要修改的区域，或者使用克隆修复工具，选择一个与要修改区域相似的区域，将其复制并覆盖到目标区域上。

　　过程中通常涉及到比较精细的视频编辑工作，比如遮罩、效果应用或局部像素的调整，需要一定的视频编辑技巧和耐心，以确保在进行局部修改时，尽量保持与视频其他部分的一致性和自然过渡。

　　而在Adobe的演示视频中，手提箱里如果你想要修改钻石的密度，只需要用钢笔工具圈选想要修改的区域，然后输入提示文本“一大堆宝石”，Firefly就会生成3个不同的视频素材，选中一个即可完成替换。

　　给穿西装的男人加一条领带，换一块看起来昂贵一点的手表都不在话下:

　　从演示视频来看，替换的效果非常自然，几乎看不出有什么破绽。

　　视频元素删除

　　而对于想要移除的对象——可能是一个吊杆麦克风、一个指示牌、地上的杂物，只需要选中它，右键点击“对象移除”，就可以轻松将其从视频画面中移除，虽然结果可能并不十分完美。

　　视频生成扩展

　　至于生成扩展功能，只需要打开Adobe Firefly视频生成插件，拖动视频的定格帧，Firefly就能将视频自然延伸数秒。

　　这种操作被称为视频定格帧扩展，传统的做法较为繁琐:确定要扩展的定格帧，创建一个新的视频序列或时间线;根据视频的总体节奏和所需效果，调整扩展帧的持续时间和速度。可能还需要在选定帧的前后生成一系列中间帧，以平滑过渡到动态效果。

　　如果追求更为精细的效果，在完成动态化处理后，还要进行后期处理，包括颜色校正、特效添加等，以确保扩展的帧与原始视频的其余部分在视觉上协调一致。

　　而现在，可以通过图生视频技术来实现，Sora甚至能够模拟真实物理世界的运动，这在进行定格帧扩展时非常有用。

　　Adobe相当于把图生视频能力集成进了PR，使得用户不需要辗转于视频编辑软件和AI视频生成工具。

　　不过，从视频示例来看，延伸的视频很短，基本都在3秒以内，有网友认为“最多就72帧，没多大演示价值”。

　　在生成视频素材方面，用户可以直接在PR内调用Sora、Runway、Pika等第三方模型，通过输入文本提示，如“夜雨中的城市风景”，来生成所需的视频素材，一次可以生成3个视频。

　　为了避免AI生成的视频被用于深度伪造或传播虚假信息，Adobe将引入Content Credential(内容凭据)，标明哪些内容是AI生成的，以及是用哪个AI模型生成的。

　　但实际上，Adobe在视频中展示的能力，其他工具也能够实现，Adobe只是胜在集成、整合和交互体验上的优化。

　　在PR AI演示视频发布后，很快就有人用Stable Diffusion的ComfyUI实现了换钻石的操作。

　　此外，有知情人士称，Adobe正向在其Adobe Stock平台上的摄影师和艺术家支付高达120美元的费用，以让他们提交短视频剪辑，这些剪辑将用于训练Adobe的视频生成模型。根据提交内容质量的不同，支付的报酬从每分钟大约2.62美元至7.25美元不等，高质量的视频剪辑将获得更高的报酬。非AI原生的老牌公司“后发制人”?

　　有人说，这一轮AI技术浪潮最大的受益者，其实是微软、Adobe这些非AI原生的老牌玩家。

　　硅谷创投圈有一种常见观点:“现有公司而非初创公司更有能力利用AI。AI是一种维持技术，它强化了现有玩家的地位，而不是赋予新进入者颠覆性的力量。”

　　从微软、Adobe这样的公司集成AI功能的速度来看，这种观点的确有一定的道理。

　　老牌玩家拥有强大的品牌影响力和稳定的客户群体，似乎只需要调用一个OpenAI的API，就能实现“后发制人”。

　　不过，从“模型即应用”的角度来说，随着AI模型被越来越多地集成到应用中，应用产品能力和用户体验的提升，越来越受制于基础模型能力的提升。开发者可以根据特定应用的需求定制和优化模型，使其更加贴合应用场景，模型也可以在与用户的互动中学习，不断优化自身性能。

　　这意味着，现有产品所谓的护城河并非牢不可破，基础模型公司很容易迎头赶上，尤其是在竞争尤为激烈的AI视频赛道。

　　虽然与Midjourney、OpenAI的DALL-E3等相比，Adobe的Firefly图像生成模型在业界的评价并不高，甚至被认为是效果平庸。

　　但在这场生成式人工智能的竞赛中，不采取行动，就意味着用户流失，以及错失重要的潜在收入来源。

　　更不用说，除了OpenAI的Sora、Stable Diffusion的SVD3D等明星玩家之外，还有很多生成式AI视频初创企业在不断涌现。

　　4月初， AI视频初创公司Higgsfield宣布获得800万美元种子轮融资。Higgsfield计划将本轮种子资金用于改进公司的视频编辑工具，以期让用户们可以修改视频中的人物和物体。另外，Higgsfield还将专门针对社媒训练更强大的视频生成模型。

　　Higgsfield的差异化竞争策略是“移动优先、社交优先”，优先考虑iOS和Android应用程序而不是桌面工作流程，优先考虑易用性和对消费者友好的功能，使创作者能够随时随地创建引人注目的社交媒体内容。

　　在4月17日举办的中国AIGC产业峰会上，美图公司创始人吴欣鸿表示，国内视频大模型竞争的关键点有三——

　　创意超越现实:视频大模型需要生成超越现实的画面，与实拍互补，成为一种新的特效实现方式。

　　工作流整合:视频生成应用场景有限，需与现有AI能力和传统视频技术结合，形成工作流。

　　垂直场景:视频在电商、广告、游戏、动漫、影视等垂直场景的“可用性”极为关键。

　　表面上看，国外的如微软、Adobe，国内的如阿里、字节、美图等公司，只是借助AI技术更新了一波自己的产品，但最核心的是，它们掌握着从产品落地到市场需求匹配最关键的一环:场景。

　　因此，短期来看，生成式AI视频创企与Adobe这样的创意软件领军企业，并不在同一维度竞争。通过引入生成式AI技术，提供一站式的解决方案，不仅有利于大大提高创意工作流程的效率，而且可以让非专业视频剪辑师也能轻松上手PR，进一步扩大Adobe的潜在市场。