微软研究团队近日推出开源大型语言模型BitNet b1.58 2B4T，采用创新的1.58位低精度架构原生训练，性能接近同规模全精度模型，但资源占用大幅降低。该模型仅需0.4GB非嵌入内存，远低于Gemma-3 1B等竞品。
BitNet的核心突破在于其三值权重系统(-1、0、+1)，结合8位整数量化激活值，形成W1.58A8配置，并通过改进Transformer架构确保训练稳定性。测试显示，其在数学、物理常识等任务中表现优异，能耗低至每token 0.028焦耳。
目前，该模型已开源，但需配合微软专用框架以发挥效能优势。未来微软计划扩展多语言支持及硬件优化，进一步挖掘低位模型的潜力。
文章内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。
奥维云网(AVC)推总数据显示，2024年1-9月明火炊具线上零售额94.2亿元，同比增加3.1%，其中抖音渠道表现优异，同比有14%的涨幅，传统电商略有下滑，同比降低2.3%。
“以前都要去窗口办，一套流程下来都要半个月了，现在方便多了!”打开“重庆公积金”微信小程序，按照提示流程提交相关材料，仅几秒钟，重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器，凭借其优秀的性能配置和精准的色彩呈现能力，为您的创作工作带来实质性的帮助，双十一期间低至2799元，性价比很高，简直是创作者们的首选。
京公网安备 11010502041587号