由多方企业和机构组成的日本联合研究团队昨日发布了 Fugaku-LLM 大模型。该模型的最大特色就是其是在 Arm 架构超算“富岳”上训练的。
Fugaku-LLM 模型的开发于 2023 年 5 月启动,初期参与方包括富岳超算所有者富士通、东京工业大学、日本东北大学和日本理化学研究所(理研)。
而在 2023 年 8 月,另外三家合作方 —— 名古屋大学、CyberAgent(也是游戏企业 Cygames 的母公司)和 HPC-AI 领域创企 Kotoba Technologies 也加入了该模型研发计划。
在昨日发布的新闻稿中,研究团队表示其充分挖掘了富岳超算的性能,将矩阵乘法的计算速度提高了 6 倍,通信速度也提升了 3 倍,证明大型纯 CPU 超算也可用于大模型训练。
Fugaku-LLM 模型参数规模为 13B,是日本国内最大的大型语言模型。
其使用了 13824 个富岳超算节点在 3800 亿个 Token 上进行训练,其训练资料中 60% 为日语,其他 40% 包括英语、数学、代码等部分。
该模型的研究团队宣称 Fugaku-LLM 模型可在交流中自然使用日语敬语等特殊表达。
具体到测试成绩上,该模型在日语 MT-Bench 模型基准测试上的平均得分为 5.5,排在基于日本语料资源的开放模型首位,并在人文社科类别中得到了 9.18 的高分。
目前 Fugaku-LLM 模型已在 GitHub 和 Hugging Face 平台公开,外部研究人员和工程师可在遵守许可协议的前提下将该模型用于学术和商业目的。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
据“常州发布”消息,6 月 9 日,常泰长江大桥以“毫米级”精度顺利合龙,实现全线贯通,这座世界最大跨度斜拉桥预计明年 4 月底前具备通车条件。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。