谷歌研究院推出了一个名为AGREE的创新框架,旨在增强大型语言模型(LLM)生成内容和引用的准确性。这一框架通过检索文档中的相关段落来增强大模型生成回答的事实基础,并提供相应的引用,从而提高回答的准确性,并为用户提供验证信息真实性的途径。
核心技术:
训练阶段微调:使用基础大模型生成回答,并利用自然语言推理模型(NLI)评估段落是否支持特定声明。AGREE框架使用NLI模型从未标记的查询中自动构建训练数据集,通过匹配回答和检索到的文档,为每个声明找到最相关的支持性段落。
测试时自适应:一种动态、迭代的推理增强方法,帮助大模型在面对新的内容查询时,主动从大型语料库中检索相关信息,并对生成的回答进行补充和修正。
AGREE的工作流程:
在微调阶段,AGREE框架采用LORA的轻量级微调技术,通过在大模型的权重矩阵上添加低秩更新,实现高效且针对性的调整,减少计算资源消耗,同时保持模型泛化能力。
测试时自适应从接收到新查询开始,微调后的大模型根据训练阶段学到的知识生成初步回答,然后进入自动迭代过程,自我评估并识别需要额外支持的声明。
一旦识别出需要额外信息的声明,启动检索过程,在预构建的语料库中搜索相关段落,并将这些段落与先前回答结合,生成更完善、准确的内容。
实验结果:
研究人员在Llama-2-13b等知名大模型上进行了实验,结果显示AGREE在提升内容回答准确性和引用性方面表现突出。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
据“常州发布”消息,6 月 9 日,常泰长江大桥以“毫米级”精度顺利合龙,实现全线贯通,这座世界最大跨度斜拉桥预计明年 4 月底前具备通车条件。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。