详解虎牙AI超分技术：“无中生有”打造S9直播4K画质

　　4K高清图像，超过每秒24帧的高速摄影......这些实现人类极致观看体验的最新技术，如果应用到直播领域，会有怎样的效果呢?

　　近日，虎牙直播宣布，推出“4K+60帧+20M”超分超高清三件套，成为S9全球独家4K直播平台。据悉，虎牙技术团队借助超分技术，实现了S9赛事视频由1080P到4K的提升，同时画面额外延时仅仅增加100毫秒。游戏玩家和业内人士普遍认为，虎牙引领的这一次技术飞跃，无疑将开启游戏直播的一场“革命”。

　　“感觉看直播就跟真正进入玩游戏的画质一样”

　　据介绍，虎牙依托强大的 AI 超分辨处理能力和视频编码优化, 将S9赛事视频由本身的1080P分辨率著提升到 4K分辨率;同时通过高可靠、低延时的全球化分发网络，将20M 的超高码率码流传输给用户，完成了从1080P到4K分辨率、60帧、20M实时视频转码直播。

　　虎牙音视频网络技术部算法负责人表示，推出此项技术，是因为发现目前用户可以获取的4K视频源是很不足的，在直播行业更是如此。而对于S9这种顶级赛事来说，如果能够提供超高清画质，无疑是满足了用户最迫切的需求。

　　针对这一痛点，虎牙直播利用超分技术，将S9赛事视频的分辨率由1080P提升到4K，显著提升画质。画质的提升也得到了用户的肯定，有用户在虎牙4K直播间弹幕表示，“用手机2K屏幕观看S9的4K直播频道的时候甚至会有种‘错觉’，感觉看直播就跟真正进入玩游戏的画质一样。“

　　(S9虎牙4K直播间截图)

　　据了解，主流超分辨率技术可以分为传统重建技术和神经网络技术。此前流行的传统重建技术用滤波的方式重新恢复图像信息，但因为高频信号在最初图像采集中丢失，重建后的高分辨率图像会出现不自然的光滑纹理，影像画质体验。而2016年以来兴起的基于学习的神经网络技术，是让机器模拟大脑的神经元网络，学习不同分辨率的图像的像素映射关系，利用多层卷积网络算法，将低分辨率图像重建为高分辨率图像。

　　而虎牙创造性地利用最新的AI深度学习模式，通过海量对比运算，不断调试和纠正重建画面时的偏差问题，并通过人工智能提高计算能力，最终使虎牙的超分辨率算法成功实现了图像高清还原和增强。无论是在细节、色彩、明暗还是锐度方面，都可以最大限度接近人类视觉的自然感受。

　　“4K超分高清画面额外延时仅增加100毫秒”

　　让游戏爱好者得到大片一般的直播观看体验，不能只靠理论架构的蓝图，还有有踏实的技术完善之路。

　　据虎牙音视频网络技术部算法负责人介绍，立项之初，他们就面临着两大挑战：一个是技术层面的，即如何优化AI超分模型以及计算推理能力，使其不仅实现画质的大幅提高，并且运行速率可以满足4K、 60FPS的实时处理;另一个就是架构层面的，即虎牙音视频分发体系如何快速应对这种传输链路的更改以及处理节点调度，保证其直播内容依然是低延时、稳定流畅地呈现到全球观众面前。

　　众所周知，实时处理是直播业务的准入门槛之一。而虎牙经过多年来技术积累，在实时处理上已经积累了丰富的成果。此次的4K超分辨率处理，也需要每秒完成60帧的高分辨率图像重建同时进行视频编码。而这个过程，是在虎牙的GPU转码集群内处理，视频数据再经由已有的虎牙传输分发平台，分发到世界各地。

　　延时处理也是虎牙本次的重大突破。采用流媒体方式播放的网络视频都需要经过编码——压缩——解码这一过程，让视频能以较小的数据量在网络中传输，从而在有限的带宽中保持传输效率，确保终端可以流畅、稳定地接收和播出。这一过程中存在的延时问题，是影响观看体验的重要因素。

　　“为解决延时问题，我们从算法到总体通讯架构都做了大量的技术工作。我们知道，端到端延时的优化其实是一个全链路的优化的集合，因此我们在模型调优、异构计算和硬件升级上都做了全方位的优化处理。在我们技术团队的努力下，4K超分高清画面带来的额外节点延时仅增加了100ms。”虎牙音视频网络技术部算法负责人介绍。

　　“项目从立项到上线历时不到1个月时间”

　　尽管有重重技术障碍，但虎牙4K项目从提出概念、立项，到平台上线服务用户，前后只用了不到一个月的时间。这不仅是因为虎牙拥有强大的研发团队，也得益于虎牙在前沿技术领域的长期跟进和积累。

　　客观而言，直播画质是个综合性问题，会受原图质量，计算能力，编码参数，用户带宽等因素影响。超分技术可以提高原图质量，但也要配合其他技术综合一起，才可以达到最优效果。如本次的4K高清，除使用AI进行视频图像处理外，虎牙还应用了大型音视频直播分发系统，对视频实时加工的处理支撑技术等。

　　从AI智能弹幕，到本次推出的4K超分超高清S9视频，虎牙在AI技术领域不断突破。近期，在韩国举办的2019年国际计算机视觉大会(简称ICCV)上，虎牙此前提交的两篇论文成功入围，并在大会上展出了虎牙的基础技术，引起现场专家同行的认可和好评。

　　而虎牙本次通过超分技术实现赛事视频的画质提升，其意义绝不会只停留在赛事转播上。据专家预测，到2021年，多媒体视频图像流量将占据整个互联网流量的80%。如此庞大的视频传播和观看需求，必然带来相关技术的井喷式发展，也很可能成为下一个互联网技术“风口”。

　　更重要的是，随着5G和物联网逐渐从设想走向现实，虎牙直播的超分技术及实时视频转码技术，与物联网的高准确率、低延时要求正好相符。随着该技术的进一步优化，未来在游戏直播、户外直播，甚至其他生活领域，将产生更多的应用场景。