书生·浦语2. 0 正式开源 支持200K超长上下文

　　1月17日 消息:新一代200亿「书生·浦语2.0」是一款开源的大语言模型。它支持200K超长上下文，且20B版本在数学推理方面的性能超越了ChatGPT。该模型使用了第三代数据清洗过滤技术，大幅提升了模型训练效率。

　　InternLM2可以支持200K超长上下文，约30万字文本，在「大海捞针实验」中实现了完美的召回率。相较于初代InternLM，新一代大模型轻量级及中量级性能表现优异，尤其在数学推理方面超越ChatGPT。

　　新一代大语言模型书⽣·浦语2.0的性能表现领先于同量级开源模型，书⽣·浦语2.0综合性能全面领先。为促进AI生态发展，推动大模型在各行业的应用落地，书生·浦源大模型挑战赛同日启动。上海AI实验室秉持着「以高质量开源赋能创新」理念，继续提供InternLM2免费商用授权。

　　InternLM2的数据清洗过滤技术已经历三轮迭代升级，仅使用约60%的训练数据即可达到使用第二代数据训练1T token的性能表现，模型训练效率大幅提升。第三代数据清洗过滤技术大幅度提升模型训练效率。InternLM2在大规模高质量的验证语料上的Loss分布整体左移，表明了其语言建模能力的实质性增强。

　　这款新一代的大语言模型在各项能力上获得了全面进步，相比于初代InternLM，在推理、数学、代码等方面的能力提升尤为显著，综合能力领先于同量级开源模型。且轻量级及中量级版本性能在同量级开源模型中表现优异，超越了ChatGPT。整体表现上，InternLM2达到了与ChatGPT比肩的水平。