网宿科技：边缘计算将在大模型时代迎来更多用武之地

　　7月17日消息，近日，在全球边缘计算大会上，网宿科技、分享了网宿边缘计算对于大模型时代的思考与探索。

　　网宿科技边缘智能平台资深架构师陈云辉表示，在未来大模型将成为一种基础设施，每个行业甚至每个企业都会有属于自己的大模型。而如何更好地将大模型落地到具体应用场景、提升生产力，是产业共同探索的方向，也是网宿边缘计算的机会所在。

　　边缘计算如何在大模型时代发挥价值?在陈云辉看来，边缘计算可以从微调训练和边缘推理两大场景切入。

　　眼下，大模型和AIGC正引领全球科技新浪潮，而由于从零开始训练模型面临周期长，GPU需求大、成本高等问题，大模型的使用范式主要为 “预训练 + 微调训练+提示词工程”，即基于预训练好的大模型进行领域知识微调训练或使用提示词工程，再应用到具体的场景，从而降低成本。

　　“这种模式可以加快AIGC创新步伐，但大模型的参数量巨大，进行所有参数的微调成本非常高，LoRA成为有效的解决方法之一。网宿边缘计算可以支持LoRA、QLoRa等轻量微调训练方法，大大降低大模型个性化、领域化的适配成本，促进AIGC在垂直应用场景的落地。”陈云辉分析道。

　　不仅如此，随着多模态AI的发展以及AIGC在更多领域的应用，AIGC生成的内容将涵盖图片、语音以及视频，AI推理相对训练的成本占比将提升，对流量需求将越来越高。同时，伴随AIGC模型领域化、小型化、轻量化技术的发展，未来AIGC对算力要求也将持续降低。

　　“因而大模型推理运算可以从中心下沉到边缘，实现更低的带宽成本、更快的响应速度。网宿在边缘侧有得天独厚的优势，可以很好地赋能边缘推理场景。”陈云辉表示。

　　作为领先的边缘计算服务商，网宿边缘计算拥有显著的资源协同优势，可以与CDN业务在机房、算力、带宽、调度等方面充分协同，并且网宿基于全球2800个节点打造的轻量化边缘智能平台，节点分布广泛，平台运营经验丰富，可以复用到大模型场景。