• 首页 > 云计算频道 > 大模型

    StyleMamba:一种高效的文本驱动图像风格转换的ai模型

    2024年05月11日 15:31:07   来源:站长之家

      近期,来自伦敦帝国理工学院和戴尔的研究团队推出了 StyleMamba,这是一种有效的框架,用于转移图片风格,通过使用文本来指导风格化过程,同时保持原始图像内容。当前文本驱动风格化技术的计算需求和训效率低下的问题在这个引入中得到了解决。

      传统上,文本驱动的风格化是通过大的计算资源和冗长的训练过程来处理的。通过专门为有效的文本驱动图像风格转移创建的条件空间模型,StyleMamba 加快了这一过程。通过这种方法,可以通过顺序地将图像特征与目文本提示进行对齐,从而精确控制风格化。

      StyleMamba 提供了两种独特的损失函数,即二阶方向损失和掩码损失,以确保图像与书面提示之间的局部和全局风格一致性。这些损失将所需的训迭代次数减少了5倍,推理时间减少了3倍,从而优化了风格化方向。

      StyleMamba 的有效性经过了大量测试和定性分析的确认。结果验证了该建议方法的鲁棒性和整体风格化性能优于当前基线的性能。这框架提供了一种更有效、更经济的方式,将口头描述转换为视觉上吸引人的风格,同时保持原始图像材料的完整性和精神。

      该团队总结了他们的主要贡献如下:

      1. 通过将条件 Mamba 整合到 AutoEncoder 架构中,StyleMamba 提供了一个简单而强大的框架。通过这种合,可以快速有效地完成文本驱动的风格转移,简化了与当前方法的比较。

      2. StyleMamba 使用损失函数来提高风格化质量。引入掩码方向损失和二阶关系损失,确保更好的全局和局部风格致性,而不损害图像的原始内容,并加快了风格化过程。

      3. StyleMamba 的有效性经过了彻的经验分析,包括定量和定性评估。这些测试表明了 StyleMamba 在风格化质量和速度方的优势。

      由于其易用性和有效性,StyleMamba 已在除静止图像风格转移之外的设置中进行了评估。实验表明,StyleMamba 在各种应用和媒体格式上都表现出多功能性和适应性,包括多种风格转移任务和视频风格转移。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。