OpenAI 公司于 8 月 13 日发布新闻稿,宣布推出 SWE-bench Verified 代码生成评估基准,解决了此前的局限性问题,能够更准确地评估人工智能模型在软件工程任务中的表现。
SWE-bench
注:SWE-Bench 是一个用于评估 LLM 解决 GitHub 上真实软件问题能力的基准测试数据集。
它收集了来自 12 个流行的 Python 仓库的 2294 个 Issue-Pull Request 对。在测试时,LLM 会拿到一个代码库和 issue 描述,然后生成一个补丁来解决 issue 描述的问题。
该基准使用两种类型的测试:
FAIL_TO_PASS 测试用于检查问题是否已得到解决
PASS_TO_PASS 测试用于确保代码更改不会破坏现有功能。
SWE-bench 的问题
OpenAI 指出了 SWE-bench 的三个主要问题:
单元测试过于严格:用于评估解决方案正确性的单元测试往往过于具体,有时甚至与问题无关,这可能导致拒绝正确的解决方案。
问题描述不明确:许多样本的问题描述不够具体,导致问题是什么以及应如何解决含糊不清。
开发环境难以设置:有时很难可靠地为代理设置 SWE-bench 开发环境,从而无意中导致单元测试失败。
SWE-bench Verified
SWE-bench Verified 的主要改进之一是使用容器化 Docker 环境开发了新的评估工具包。
这一改进旨在使评估过程更加一致和可靠,降低与开发环境设置相关的问题发生的可能性。
例如,GPT-4o 解决了 33.2% 的样本,而表现最佳的开源代理框架 Agentless 的得分翻了一番,达到 16%。
性能的提高表明,SWE-bench Verified 更好地捕捉到了人工智能模型在软件工程任务中的真正能力。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
近日,德国柏林国际电子消费品展览会(IFA2024)隆重举办。凭借在核心技术、产品设计及应用方面的创新变革,全球领先的智能终端企业TCL实业成功斩获两项“IFA全球产品设计创新大奖”金奖,有力证明了其在全球市场的强大影响力。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。