云知声千亿参数山海大模型首次亮相

　　8月28日，云知声旗下山海大模型迎来又一次迭代升级，当前版本参数规模达到千亿，实现了多学科能力、医疗能力双提升，实测性能在C-Eval全球大模型综合性评测中超越GPT-4，以平均分70分的成绩进入前三甲。

　　C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集，包含13948道多项选择题，涵盖数学、物理、化学、生物、历史、政治、计算机等52个不同学科和四个难度级别，是全球最具影响力的综合性考试评测集之一。作为第三方发起的测试基准， C-Eval以其客观性、公正性备受业内关注，也吸引了多家企业、机构和高校的参与。

　　据悉，本次山海大模型2.0版参数规模达到千亿，增加了更多的学科类的预训练语料，训练数据(Tokens)达到两万亿(2.0T)。

　　在本次模型升级过程中，山海团队充分利用了教材、文献、百科类语料的价值，这些语料包含了人类对客观世界知识的丰富理解、详尽解释以及在各个领域的深入研究所得到的科学结论。不同的学科领域的数据涵盖了各自学科的专业知识，这在一定程度上弥补了第一版山海大模型在某些专业领域的知识盲区。

　　为了使模型能更科学合理地汲取这些不同领域和来源的数据中的知识，山海大模型团队使用了DoReMi方法对数据进行了优化权重采样。

　　山海大模型作为云知大脑的核心，能力体系涵盖语言生成、语言理解、知识问答、 逻辑推理、代码能力、数学能力等。此外，为提高大模型在具体场景的应用落地水平，山海大模型在通用能力基础上，增强物联、医疗等行业能力，致力为客户提供更智能、更灵活的解决方案，加速千行百业的智慧化升级。