今年 6 月,上海 AI 实验室发布了“书生・浦语”(InternLM)大模型,为104B 参数,后续又推出了7B 和 13B 规格模型。
近日,上海 AI 实验室、商汤科技、香港中文大学、复旦大学宣布推出书生・浦语 20B 版本,这是一款中量级大模型,号称基于 2.3T Tokens 预训练语料从头训练,相较于 InternLM-7B,其理解能力、推理能力、数学能力、编程能力等都有显著提升。
据介绍,相比于此前国内陆续开源的 7B 和 13B 规格模型,20B 量级模型具备更强大的综合能力,复杂推理和反思能力尤为突出,能为实际应用场景提供更有力的性能支持;同时,20B 量级模型可在单卡上进行推理,经过低比特量化后,可运行在单块消费级 GPU 上,因而在实际应用中更为便捷。
相比于此前的开源模型,InternLM-20B 拥有几大亮点,IT之家汇总如下:
以不足 1/3 的参数量,测评成绩达到了 Llama2-70B 的水平。
支持数十类插件,上万个 API 功能,还具备代码解释和反思修正能力。
实现了对长文理解、长文生成和超长对话的有效支持,同时支持 16K 语境长度。
研究团队进行了基于 SFT 和 RLHF 两阶段价值对齐,并通过专家红队的对抗训练大幅提高其安全性。
此外,书生・浦语开源工具链也已全新升级,形成更完善的体系,包括预训练框架 InternLM-Train、低成本微调框架 XTuner、部署推理框架 LMDeploy、评测框架 OpenCompass 以及面向场景应用的智能体框架 Lagent。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。