北大团队首次系统性评估大语言模型心理特征，推动AI评估新标准

　　近期，北京大学的宋国杰教授团队发布了一篇全面的综述论文，系统梳理了大语言模型心理测量学的研究进展，为 AI 的评估提供了新视角。

　　这篇论文名为《大语言模型心理测量学:评估、验证与增强的系统综述》，长达63页，引用了500篇相关文献。随着 LLM 能力的快速迭代，传统的评估方法已显不足。论文指出，当前评估面临多重挑战，包括 LLM 的心智特征超出传统评测范围、模型迭代快使静态基准失效、评估结果容易受微小变化影响等。为此，团队提出了将心理测量学引入 AI 评估的新思路。

　　心理测量学长期致力于量化复杂心理特质，通过科学设计的测试为教育、医疗和商业决策提供支持。研究者们发现，将其方法论应用于 LLM 的评估，将有助于深入理解和提升 AI 的心智能力。这一方法革新为 AI 评估开启了全新的视角，从而推动了 “LLM 心理测量学” 的交叉领域发展。

　　论文中提出了三大创新方向:一是采用 “构念导向” 的评估方法，深入挖掘影响模型表现的潜在变量;二是引入心理测量学的严谨方法，提升测试的科学性与可解释性;三是利用项目反应理论，动态校准测试项目难度，使得不同 AI 系统之间的比较更加科学和公平。

　　此外，研究还探讨了 LLM 表现出的类人心理构念，包括人格特质、能力构念等，强调了这些特质对模型行为的深远影响。通过结构化和非结构化的测试形式，团队为 LLM 的 “心智” 能力评估奠定了方法论基础，为未来 AI 的发展提供了有力的理论支持。