快5G的慢动作 展锐5G芯片捕捉每一毫秒的精彩

　　日常生活中，手机早已成为我们形影不离的伙伴，手机的拍照和录像功能为我们记录了生活中点点滴滴，让美好的记忆成为永恒。特别是视频录制功能，忠实地留存了身边的精彩时刻。

　　普通视频

　　对于普通视频，手机中camera系统按照30fps采集图像，即一秒内均匀采集30张图像，经过camera系统的处理，最终也按照30fps的帧率，编码成为视频文件。播放视频时，视频播放器同样按照30fps的帧率解码视频并显示。用户看到的是真实世界的原本回放，一切都如现实生活一样。

　　为了增强视频录制功能，如今各大旗舰手机中，不约而同地设计了慢动作视频录制功能。

　　什么是慢动作视频录制功能呢?

　　慢动作视频

　　所谓慢动作视频录制功能，它会将视频中拍摄对象的运动变慢、变缓，用户可以仔细地欣赏每一个动作的缓慢变化。

　　目前，大家看到的慢动作视频录制一般为120fps和240fps帧率。以240fps慢动作视频录制为例，当用户启动拍摄240fps慢动作视频时，手机中camera系统按照240fps帧率采集图像，即一秒采集240张图像，平均4毫秒采集一张，它更加精细地从现实中获取了图像数据。Camera系统对240帧图像逐一处理，最后编码成视频文件。

　　视频播放时，播放器依然按照30fps帧率播放。我们录制时候的1秒240张图像，播放时需要8秒显示，视频画面被放慢了8倍，各种动作和变化全部变缓。这种视频特别适合拍摄各种运动，或者转瞬即逝的时刻。用户看到了比普通视频精细8倍的运动变化，欣赏了更多的变化细节。

　　高帧率慢动作瞬间视频

　　既然已经拥有了240fps这样的慢动作视频，为什么还要更高帧率慢动作瞬间视频，如960fps视频?

　　我们对技术的追求是无止境的，用户对精彩的需求也是无限的。960fps慢动作瞬间视频可以让用户体会到每一毫秒的画面变化，欣赏到每一毫秒的精彩画面。

　　录制这种960fps高帧率慢动作视频，不像240fps慢动作视频那么简单。Camera系统采集数据的sensor因硬件性能局限，普通camera  sensor很难达到960fps这样高的采集帧率。目前市面上的旗舰手机主流是采用240fps帧率的camera sensor。为了产生960fps视频，camera系统必须采用FRC(Frame Rate Conversion)技术，将按240fps帧率采集的图像数据离线转换为960fps帧率，之后完成视频编码。这样用户就能欣赏到每一秒的精彩瞬间。由于FRC技术性能和所需资源限制，camera系统一般只采集时长为三秒左右的图像进行处理，最终视频播放时长可达10秒左右。该功能只有少数高端旗舰机具有，大大提升了这些手机的竞争力。

　　紫光展锐第六代影像引擎Vivimagic

　　展锐唐古拉5G芯片T770，搭载了第六代影像引擎Vivimagic解决方案，首次采用四核ISP实现了三摄/四摄场景无缝变焦，支持长焦、广角、超广角、微距镜头，可实现3倍光学变焦，6倍混合变焦，30倍数字变焦。

　　四核ISP处理速度高达每秒16亿像素，最高可支持拍摄1.08亿像素照片，单摄零延迟拍照可达6400万像素。

　　对于慢动作视频录制功能，最高支持480fps不限时高清慢动作视频拍摄，用户可以充分利用五亿像素级处理速度来拍摄慢动作视频;采用FRC技术，用户可抓拍高帧率高清慢动作瞬间视频，捕捉毫秒级精彩细节。

　　FRC技术介绍

　　FRC(Frame Rate Conversion)技术用于提升视频帧率，一般通过前后帧信息产生新的帧，增加单位时间内采集到的图像数据量，让用户获得更多图像信息。其中运动估计和运动补偿算法至关重要。

　　运动估计和运动补偿(Motion Estimation and Motion Compensation，简称MEMC)，就是通过对图像中物体的运动轨迹的估计和检测运动矢量，然后利用原始帧和运动矢量信息，通过运动补偿插值的方式构建新的图像帧(称之为补偿帧)，最后在原始帧中间插入补偿帧来提升画面的流畅性。

　　以24fps插帧到60fps来举例说明，因为60不是24的整数倍，所以必须采用3:2 pull up pull down的方式进行帧重复，也就是当前帧重复3次，下一帧重复2次，依次类推，这样就把24fps视频的各帧图像“相对均匀”的分配到60fps的时间节拍上。因为每一帧的重复次数不相同，所以产生了抖动(Judder)现象。

　　MEMC技术，根据物体运动信息来动态的生成补偿帧，可以非常有效的改善Judder现象。但由于所有新增的图像帧都是运动预测计算出来的，因此预测的不准确可能会带来副作用，比如光环“Halo”效应。通过对物体运动轨迹的精确计算，可以减小副作用。

　　另外一个可能的现象是小物体运动所对应的小物体丢失，例如足球比赛中的足球，在一些补偿帧中消失了。原因在于大部分的MEMC算法，基于运算复杂度和实现成本考虑，采用块匹配方式来计算相邻帧之间的物体的运动相关性，而不是采用像素级的预测，导致小物体的运动矢量估计不准确，进而导致小物体的丢失或出现重叠等现象。

　　优秀的MEMC算法，除了解决去除Judder等基本问题之外，还需对随之产生的光环Halo、小物体消失或重影等artifact有好的解决方案。

　　紫光展锐视频编码专家组基于MEMC算法研究出了高清视频图像四倍插帧算法，完美地实现了视频序列的四倍插帧，为了高帧率慢动作瞬间视频功能实现奠定了基础。

　　高帧率慢动作瞬间视频

　　展锐唐古拉5G芯片T770的camera系统具备强大处理能力，支持240fps 1080P和480fps 720P慢动作视频录制。基于240fps 720P图像数据，采用FRC技术，借助多核CPU，可以实现960fps 720P高清慢动作瞬间视频录制。

　　对于更高帧率，如果camera sensor支持480fps 720P图像采集，camera系统也可以实现1920fps的瞬间视频编码，这对手机性能有了更高要求。1920fps瞬间视频，平均0.5毫秒一张图像，将现实世界的运动放慢了64倍，用户可以欣赏到更加细腻的精彩瞬间，给用户带来前所未有的视觉体验。

　　随着视频技术的不断发展，手机上camera系统会有越来越多的新颖功能出现，为用户带来不同凡响的视觉体验。高帧率慢动作瞬间视频无疑是其中一抹靓丽风景，展锐唐古拉5G芯片T770在影像方面拥有更优秀的表现。