在CVPR2024上,美国英特尔研究院的蔡志鹏博士及其团队提出了一种名为L-MAGIC(Language Model Assisted Generation of Images with Coherence)的新技术。这项技术通过结合语言模型和图像扩散模型,实现了高质量、多模态、零样本泛化的360度场景生成。
核心特点:
结合语言模型和扩散模型:L-MAGIC利用自然图像连接不同模态的输入,并通过条件扩散模型如ControlNet从各种模态输入生成自然图像。
迭代变形和填充:在获得自然图像后,L-MAGIC通过迭代变形(warping)和填充(inpainting)生成360度场景的多个视角,使用基于扩散的图像填充模型(如Stable Diffusion v2)生成缺失像素。
语言模型控制:L-MAGIC使用语言模型自动控制扩散模型,根据每个视角需要生成的场景内容,有效保持语言及扩散模型的泛化性。
多样化场景生成:L-MAGIC能够生成多样化的全局场景结构,无需微调,从而实现多样化场景的高质量生成。
多模态输入:除了自然图像,L-MAGIC还能接受文字、手绘草图、深度图等多种模态的输入。
实验结果表明:
L-MAGIC在图像到360度场景生成及文字到360度场景生成任务中均达到了SOTA(State of the Art)。
能够生成具有多样化360度场景结构的全景图,并且能够平滑地完成360度闭环。
除了文字和自然图像,L-MAGIC还能够使用ControlNet接受多样化的输入,如深度图、设计草图等。
技术应用:
L-MAGIC还能够利用深度估计模型生成场景的沉浸式视频和三维点云,为场景理解和可视化提供了更多可能性。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
据“常州发布”消息,6 月 9 日,常泰长江大桥以“毫米级”精度顺利合龙,实现全线贯通,这座世界最大跨度斜拉桥预计明年 4 月底前具备通车条件。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。