近日,MIT的研究人员在力学和材料建模领域取得了重要突破,推出了一款名为MechGPT的语言模型。该模型不仅能够桥接各种尺度、学科和模态,还能够高效地从科学文本中提取关键信息。在材料科学领域,研究人员常常需要从密集的科学文本中提炼出重要的见解,这需要导航复杂的内容,并生成包含材料核心的连贯问题-答案对。
为了解决这一挑战,MIT的研究团队引入了MechGPT,它采用了一种创新的方法。该模型首先利用预训练语言模型,通过两步处理生成有深度见解的问题-答案对。与传统方法不同的是,MechGPT不仅仅是信息提取,还提高了关键事实的清晰度。为了实现这一目标,模型经过了基于PyTorch和Hugging Face生态系统的精心培训,采用Llama2变压器架构,具有40个变压器层,并利用旋转位置嵌入来扩展上下文长度。
在培训过程中,研究人员引入了低秩适应(LoRA)和4位量化等创新技术,以提高模型的能力。LoRA涉及在微调过程中集成额外的可训练层,同时冻结原始预训练模型,防止模型擦除其初始知识基础。最终,这带来了更高的内存效率和更快的培训速度。
除了基础的MechGPT模型,研究人员还进行了两个更大的模型的培训,分别是MechGPT-70b和MechGPT-70b-XL。通过这些创新的技术和模型培训,MechGPT在科学文本中提取知识的挑战性领域中崭露头角,展示出超越传统语言模型的潜力。这一成果在聊天界面中具体体现,为用户提供对Google Scholar的访问,为未来的拓展构建了桥梁。
综合而言,MechGPT不仅在材料科学领域展现出了巨大的潜力,而且通过创新的技术和培训过程,其应用领域不仅限于传统语言模型。作为语言模型领域的先锋,MechGPT的出现标志着语言模型动态演变的里程碑,为知识提取开辟了新的领域。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。