• 首页 > 云计算频道 > 大模型

    李开复零一万物公司回应大模型争议:承认模型结构基于GPT结构

    2023年11月15日 10:07:03   来源:站长之家

      李开复旗下公司「零一万物」的大模型 Yi-34B 引发争议,因研究者发现其基本采用 LLaMA 架构,但只是对两个张量进行了重命名。

      2. 有关该模型的性能和成就,包括上下文窗口大小超过200k、一次处理40万汉字、在 Hugging Face 全球开源模型排行榜中获得双料冠军等。

      3. 在社区中有人指出,Yi-34B 实际上是对 LLaMA 代码的一次重构,但未作实质性改变,引起对虚假宣传、许可证违规等问题的疑虑。公司回应表示基于 GPT 结构,并在模型训练中遇到的一些需求导致了代码重命名。

      最近,「零一万物」公司旗下的大模型 Yi-34B 因使用 LLaMA 架构但改变张量名引发争议。这一争议中,研究者指出其代码实际上是对 LLaMA 代码的一次重构,只是未作实质性改变。社区担心这可能违反了许可证规定,且未经过框架支持的外部代码附加可能存在安全风险。

      Yi-34B 的成就在开源大模型领域引起了广泛关注,其上下文窗口大小超过200k,能处理40万汉字,成为全球开源模型双料冠军。然而,争议的核心在于其是否真正符合 LLaMA 的许可协议,以及对模型代码的更改是否属于虚假宣传。

      在社区的讨论中,有人提到模型的性能参数和配置存在疑虑,包括模型被标榜为32K 模型实际上配置为4K 模型的问题。此外,对于模型的微调数据和基准测试的信息也没有充分提供,引起了社区的疑虑。

      「零一万物」公司回应称,他们的模型结构基于 GPT 成熟结构,但在训练实验中由于需求对代码进行了更名。他们强调模型的结构只是其中一部分,投入了大量研发工作在数据工程、训练方法、评估方法等方面,这是他们在大模型预训练阶段的核心技术护城河。最后,他们表示尊重社区的反馈,将代码进行更新以更好地融入 Transformer 生态。

      综合来看,争议集中在「零一万物」公司的 Yi-34B 模型是否违反了开源协议,以及其在性能参数和代码修改上的透明度。这一事件提醒开源社区对于模型的合规性和透明度的重要性,同时也反映了在开源领域中公司的技术选择可能引发广泛关注和争议的现实。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    TCL实业荣获IFA2024多项大奖,展示全球科技创新力量

    近日,德国柏林国际电子消费品展览会(IFA2024)隆重举办。凭借在核心技术、产品设计及应用方面的创新变革,全球领先的智能终端企业TCL实业成功斩获两项“IFA全球产品设计创新大奖”金奖,有力证明了其在全球市场的强大影响力。

    新闻

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。