• 首页 > 云计算频道 > 大模型

    李开复零一万物公司回应大模型争议:承认模型结构基于GPT结构

    2023年11月15日 10:07:03   来源:站长之家

      李开复旗下公司「零一万物」的大模型 Yi-34B 引发争议,因研究者发现其基本采用 LLaMA 架构,但只是对两个张量进行了重命名。

      2. 有关该模型的性能和成就,包括上下文窗口大小超过200k、一次处理40万汉字、在 Hugging Face 全球开源模型排行榜中获得双料冠军等。

      3. 在社区中有人指出,Yi-34B 实际上是对 LLaMA 代码的一次重构,但未作实质性改变,引起对虚假宣传、许可证违规等问题的疑虑。公司回应表示基于 GPT 结构,并在模型训练中遇到的一些需求导致了代码重命名。

      最近,「零一万物」公司旗下的大模型 Yi-34B 因使用 LLaMA 架构但改变张量名引发争议。这一争议中,研究者指出其代码实际上是对 LLaMA 代码的一次重构,只是未作实质性改变。社区担心这可能违反了许可证规定,且未经过框架支持的外部代码附加可能存在安全风险。

      Yi-34B 的成就在开源大模型领域引起了广泛关注,其上下文窗口大小超过200k,能处理40万汉字,成为全球开源模型双料冠军。然而,争议的核心在于其是否真正符合 LLaMA 的许可协议,以及对模型代码的更改是否属于虚假宣传。

      在社区的讨论中,有人提到模型的性能参数和配置存在疑虑,包括模型被标榜为32K 模型实际上配置为4K 模型的问题。此外,对于模型的微调数据和基准测试的信息也没有充分提供,引起了社区的疑虑。

      「零一万物」公司回应称,他们的模型结构基于 GPT 成熟结构,但在训练实验中由于需求对代码进行了更名。他们强调模型的结构只是其中一部分,投入了大量研发工作在数据工程、训练方法、评估方法等方面,这是他们在大模型预训练阶段的核心技术护城河。最后,他们表示尊重社区的反馈,将代码进行更新以更好地融入 Transformer 生态。

      综合来看,争议集中在「零一万物」公司的 Yi-34B 模型是否违反了开源协议,以及其在性能参数和代码修改上的透明度。这一事件提醒开源社区对于模型的合规性和透明度的重要性,同时也反映了在开源领域中公司的技术选择可能引发广泛关注和争议的现实。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。