近日,微软研究和清华大学的研究人员共同提出了一种名为“Skeleton-of-Thought(SoT)”的全新人工智能方法,旨在解决大型语言模型(LLMs)生成速度较慢的问题。
尽管像GPT-4和LLaMA等LLMs在技术领域产生了深远影响,但其处理速度的不足一直是一个制约因素,特别是在对延迟敏感的应用中,如聊天机器人、协同驾驶和工业控制器。SoT方法与传统的性能提升方法不同,它不对LLMs进行复杂的修改,而是将其视为黑匣子,并侧重于优化输出内容的组织结构。
SoT引入了一个独特的两阶段过程,首先引导LLM构建答案的骨架,然后在第二阶段使LLM同时扩展骨架中的多个要点。这一方法不仅提高了LLMs的响应速度,还在不需要对模型架构进行复杂调整的情况下实现了这一目标。
为了评估SoT的有效性,研究团队对12个不同领域的模型进行了广泛测试,使用了Vicuna-80数据集,其中包含了来自编码、数学、写作和角色扮演等各个领域的问题。
通过使用FastChat和LLMZoo的度量标准,研究团队观察到SoT在八个模型上实现了1.13x到2.39x的速度提升,而且这些提升并没有牺牲答案质量。这表明SoT不仅可以显著提高响应速度,还能够在各种问题类别中保持或提升答案质量。
因此,SoT方法为解决LLMs速度较慢的问题提供了一种有前景的解决方案。研究团队的创新方法将LLMs视为黑匣子,并专注于数据级别的效率优化,为加速内容生成提供了新的视角。通过引导LLMs构建答案的骨架,然后进行并行扩展,SoT有效地提高了响应速度,为人工智能领域的动态思维过程开辟了新的探索方向,鼓励向更高效、更多才多艺的语言模型发展。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。