• 首页 > 云计算频道 > 大模型

    Rhymes AI推出革命性文本图像视频生成模型Allegro-TI2V

    2024年11月29日 15:29:27   来源:AIbase基地

      Rhymes AI近日发布了其革命性文本-图像到视频生成模型Allegro-TI2V,这一突破性技术为数字内容创作开辟了全新的疆界。作为生成式AI的最新进展,Allegro-TI2V为创意工作者提供了前所未有的视觉叙事工具,标志着AI技术在创意领域的巨大潜力。

      Allegro-TI2V在多个技术规格上表现卓越,支持高达79.2K的上下文长度,相当于88帧视频。其输出分辨率为720×1280像素,视频生成速度为每秒15帧,用户还可以选择插值至30FPS,以满足不同应用场景的需求。这款模型的架构非常复杂,包含了1.75亿参数的VideoVAE和28亿参数的VideoDiT模型,使其能够精准捕捉用户输入的文本提示和初始图像的本质。此外,Allegro-TI2V还支持多精度模式(FP32、BF16、FP16),在BF16模式下,生成视频仅需9.3GB的GPU内存,极大降低了硬件需求。

      Allegro-TI2V的创新之处在于其引入了两种全新的生成模式:后续视频生成:基于文本提示和初始帧,创建连续的视频内容。这种模式能够帮助创作者轻松生成符合设定主题和风格的视频。中间视频生成:在给定视频的首尾帧的基础上,生成自然过渡的中间帧,打破传统视频编辑的时间与空间限制。

      这些创新模式使得Allegro-TI2V能够为创作者提供更高效、更灵活的视频创作方式,大大提升了创作效率和质量。

      Rhymes AI在Apache2.0许可下发布了Allegro-TI2V,使得研究人员、开发者和内容创作者能够更容易地访问和使用这一技术。用户只需安装Python3.10+、PyTorch2.4+和CUDA12.4+,便可轻松上手并快速体验这一先进技术。

      Allegro-TI2V的应用前景极为广泛,从电影制作、游戏开发到数字艺术和创意原型,都能充分发挥其强大的生成能力。根据开发者提供的数据,单个***GPU在约20分钟内即可生成6秒的视频,而使用8个***GPU配置,生成时间将缩短至3分钟,显著提升了视频内容创作的效率。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。