毕尔巴鄂对阵皇家社会:两支近邻球队将于西甲联赛 “巴斯克德比”中为捍卫荣耀而战贝壳第三季度营收226亿元 经调净利润17.8 亿元 同比下降17.46%AI营销,让科技巨头尝到了大模型商业化的甜头安恒信息范渊在乌镇峰会谈AI:以工具视之、以工具用之、以工具治理之诺基亚与微软再合作,为 Azure 数据中心供货延长五年天岳先进发布业界首款 300mm(12 英寸)N 型碳化硅衬底三星介绍内部安全团队 Project Infinity 攻防演练项目,高效修复 Galaxy 手机平板漏洞上海市将推进低空飞行服务管理能力建设,2027 年底前累计划设相应航线不少于 400 条岁末,海尔给您备好一套“小红花”为什么说Q10K Pro是今年最值得入手的电视?看完这几点就明白了!“小墨方·大不凡”!Brother“小墨方”系列彩喷一体机全新上市黄仁勋:AI智能需求强劲,“物理定律”限制英伟达芯片增长诺基亚与微软再合作,为Azure数据中心供货延长五年国家数据局:到2029年基本建成国家数据基础设施主体结构中国已发展成为全球最大的互联网市场,拥有全球最多的网民和移动互联网用户中国铁塔:计划按照10:1的比例合股美国FCC正式划定5.9GHz频段用于C-V2X技术在AI领域奋起直追!苹果要对Siri大革新 2026年正式发布日本机构公布量子专利榜单:本源量子、国盾量子位居全球第1中国联通:拟向华为、中兴展开5G网络设备竞争性谈判采购
  • 首页 > 云计算频道 > 大模型

    AI视频生成工具ID-Animator:可保持角色一致生成视频动画

    2024年04月25日 11:58:54   来源:站长之家

      近年来,生成具有指定身份的高保真人类视频引起了广泛关注。然而,现有技术在训练效率和身份保持之间往往难以取得平衡,要么需要繁琐的逐案微调,要么在视频生成过程中通常会丢失身份细节。研究提出了一种名为 ID-Animator 的零样本人类视频生成方法,可以在无需进一步训练的情况下执行个性化视频生成,只需单个参考面部图像即可。

      ID-Animator是一种零样本个性化视频生成方法,可以根据单个参考面部图像生成个性化视频,无需额外训练。ID-Animator 继承了现有基于扩散的视频生成框架,并引入了一个面部适配器,用于从可学习的面部潜在查询中编码与身份相关的嵌入。

      为了促进视频生成中身份信息的提取,研究引入了一个面向身份的数据集构建流水线,该流水线结合了从构建的面部图像池中生成分离的人类属性和动作标题的技术。基于这一流水线,进一步设计了一种随机面部参考训练方法,以精确捕获参考图像中的与身份相关的嵌入,从而提高了模型对于特定身份视频生成的保真度和泛化能力。

      大量实验证明了 ID-Animator 在生成个性化人类视频方面优于先前的模型。此外,该方法与流行的预训练 T2V 模型(如 animatediff)和各种社区骨干模型高度兼容,在需要高度保持身份的视频生成的真实应用中表现出高度可扩展性。

      ID-Animator特色功能亮点:

      随机参考训练:在训练过程中,随机从之前提取的面部池中选择一个参考图像,通过这种蒙特卡洛技术,平均化来自不同参考图像的特征,减少身份不变特征的影响。

      生成能力 :ID-Animator 在基本提示下展示了生成能力,可以通过文本定制人物的上下文信息,包括头发和服装等特征,创造新颖的角色背景,并使他们执行特定的动作,同时包括性别和年龄。

      身份混合 :通过将来自两个不同 ID 的嵌入以不同比例混合,我们有效地在生成的视频中结合了两个 ID 的特征。

      与 ControlNet 结合 :ID-Animator 能够提供单帧控制图像或多帧控制图像。当提供单帧控制图像时,生成的结果巧妙地将控制图像与面部参考图像融合。当提供多个控制图像时,生成的视频序列紧密遵循多个图像提供的序列。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。