当下 GPT-4 模型最大的短板主要是算术能力,由于模型的逻辑推理能力尚待提升,因此即使是许多人认为相对简单的计算问题,GPT-4 却无法得出正确的结果。
近日,新加坡国立大学研究者推出了 Goat 模型,称该模型“专门用于算术问题”。研究人员表示“在对 LLaMA 模型进行微调后,Goat 在算数上实现了比 GPT-4 更高的准确度与更出色的性能”。
研究人员提出了一种新办法,将任务根据算数的可学习型进行分类,然后利用基本算术原理将不可学习的任务分解为一系列可以学习的任务(IT之家注:把复杂的计算过程分点拆解成简单的步骤)后导入 AI 模型。
这种新方法可以令模型学习答题模式,并将过程泛化为看不见的数据,而非仅仅依靠纯粹的“权重记忆计算”,因此能够有效地提高算数性能,可以在零样本学习中以“近乎完美的精度”为大数加法和减法生成答案。
研究人员在具备 24 GB 显存的 GPU 上进行训练,并将最终得到的模型使用 BIG-bench 算数子任务进行测试,准确率结果较为出众,领先于业内的 Bloom、GPT-NeoX、OPT 等模型。其中零样本的 Goat-7B 的准确率甚至一度超过了少样本学习后的 PaLM-540 模型,在大数计算方面远超 GPT-4。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。