• 首页 > 云计算频道 > 大模型

    MIT研究员推新AI图片生成框架DMD:AI 单步生成高质量图像 速度快30倍

    2024年03月22日 13:59:16   来源:站长之家

      在当今人工智能时代,计算机可以通过扩散模型生成自己的 “艺术”,逐步向嘈杂的初始状态添加结构,直到清晰的图像或视频出现。

      扩散模型突然变得异常受欢迎:输入几个词,即可体验现实与幻想交汇的梦幻景象。在幕后,这涉及一个复杂、耗时的过程,需要算法多次迭代才能完美图像。

      麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员引入了一个新框架,将传统扩散模型的多步过程简化为单步,解决了先前的限制。这是通过一种教师 - 学生模型实现的:教导一个新的计算机模型模仿生成图像的更复杂原始模型的行为。

      这种方法称为分配匹配蒸馏(DMD),保留了生成图像的质量,同时实现了更快的生成速度。

      DMD 巧妙地包含两个组成部分。首先,它使用回归损失,锚定映射以确保对图像空间的粗略组织,使训练更稳定。接下来,它使用分配匹配损失,确保使用学生模型生成给定图像的概率与其在真实世界中出现的频率相对应。通过利用两个扩散模型作为指导,帮助系统理解真实图像与生成图像之间的差异,并使训练快速的单步生成器成为可能。

      该系统通过训练一个新网络来最小化其生成的图像与传统扩散模型使用的训练数据集中的图像之间的分布差异来实现更快的生成。该团队使用预训练网络来简化新学生模型的过程。通过复制和微调原始模型的参数,团队实现了新模型的快速训练收敛,该模型能够使用相同的架构基础生成高质量图像。

      在与通常方法的对比测试中,DMD 表现一致。在基于 ImageNet 特定类别生成图像的流行基准测试中,DMD 是第一个单步扩散技术,几乎与原始、更复杂模型的图像媲美,具有非常接近的 Fréchet inception distance(FID)分数,这是令人印象深刻的,因为 FID 是评判生成图像质量和多样性的指标。

      此外,DMD 在工业规模的文本到图像生成中表现出色,并实现了最先进的单步生成性能。在处理更棘手的文本到图像应用时,仍然存在一些质量差距,这表明未来还有改进的空间。

      DMD 生成的图像性能与蒸馏过程中使用的教师模型的能力密切相关。当前版本使用 Stable Diffusion v1.5作为教师模型,学生继承了一些限制,如渲染文本和小脸部的细节描绘,这表明更先进的教师模型可能进一步提升 DMD 生成的图像。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时探行数字人注册免费试用

    华为Pura70 系列不怕丢!云空间实现楼层级设备查找

    华为 Pura70 系列突然先锋开售,你抢到了吗?对于这次的新机来说,除了一如既往的优雅设计和强悍的硬件配置外,我们更为关注的则是其全球首发的「楼层级设备查找」功能,软实力也可以很硬核!

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。