|
|
为了处理视频画面卡顿、不行顺利等问题，视频插帧应运而生。英伟达提出的 Super SloMo 办法在许多办法中一骑绝尘，关于一段一般设备录制的视频，能「脑补」出高帧率慢动作视频。有了这一神器，视频制造的门槛得到进一步下降。 现在，人们关于视频帧率的寻求越来越高，因为高帧率视频愈加顺滑、流通，能极大地进步人们的观看体会。 可是，高帧率的摄像设备，关于内存需求非常大，而且本钱昂扬，尚不能遍及。为了在没有专业设备的情况下，能够得到高帧率的视频，视频插帧技能应运而生。 而英伟达提出的 AI「脑补」 Super SloMo，则在许多视频插帧技能中一骑绝尘，即便帧率仅仅为30 帧的视频，也能够 Super SloMo 补成 60 帧、240 帧乃至更高。 帧采样便是用关键帧来做补偿帧，其实质便是拉长每一个关键帧的显现时刻，相当于并没有插帧。除了取得文件特点更高的帧率和在同视频质量下更大的文件体积外，不会带来任何视觉观感上的进步。 缺陷：作用欠安。因为仅仅简略的把原关键帧变成半透明状，运动物体概括在前后两帧交叠的时分，就会发生显着的含糊场景，对视频的视觉作用流通程度进步很小。 运动补偿（Motion Estimation and Motion Compensation，简称 MEMC），其原理是在水平缓笔直两个方向上，对两帧之间的差异寻觅呈现运动的块，经过剖析图画块的运动趋势，再辅以核算得到中心帧。 光流法是核算机视觉研讨中的一个重要方向，其依据上下帧来揣度像素移动的轨道，主动生成新的空缺帧。有点类似于运动含糊核算办法。 Super SloMo 不同于传统办法，它运用深度神经网络来完结补帧，基本思路为：运用许多一般视频与慢动作视频进行练习，然后让神经网络学会推理，依据正常视频生成高质量的超级慢动作视频。 首要，用一个 U-Net 来核算相邻输入图画之间的双向光流。然后，在每个时刻步长上对这些光流进行线性拟合，以近似中心帧的双向光流。 为了处理运动鸿沟呈现伪影的问题，运用另一个 U-Net 来对近似的光流进行改进，而且猜测柔性可见性映射联系。终究，将输入的两张图画进行歪曲和线性交融，然后构成中心帧。 此外，Super SloMo 的光流核算网络和插值网络的参数，都不依赖于被插值帧的特定时刻步长（时刻步长被做为网络的输入）。因而，它能够并行地在两帧之间的恣意时刻步长上插帧，然后突破了许多单帧插值办法的局限性。 为了练习网络，作者从 YouTube 和手持摄像机上收集了多个 240 帧的视频。总计收集了 1100 个视频段，由 30 万张 1080 × 720 分辨率的独立的视频帧组成。这些视频从室内到室外，从静态相机到动态相机，从日常活动到专业运动，包含了各类场景。 之后在其它数据集上对模型进行了验证，结果表明，该研讨在这些数据集上比现有的办法功能上有了明显的进步。 尽管英伟达这一论文的作者没有揭露数据集和代码，不过，高手在民间，GitHub 上一位名为为 avinashpaliwal 的用户，现已开源了自己对 Super SloMo 的 PyTorch 完结，其结果与论文描绘相差无几。 因为模型练习和测验是在 PyTorch 0.4.1 和 CUDA 9.2 上完结的，所以装置这两个软件必不可少，别的你还需要有一张 NVIDIA 的显卡。 不过，你也能够不需要预备这些，做一个安安静静的「伸手党」，一键完结 Super SloMo。 咱们在国内的机器学习算力容器服务渠道（）找到了相应的教程。从数据集到代码再到算力，一应俱全，即便是小白，也能够轻松上手。 首要注册并登录 ，在「公共资源」菜单下的「公共教程」中，挑选本教程——「Super-SloMo 超级慢动作镜头的 PyTorch 完结」。 教程中样例展现文件是 Super-SloMo.ipynb，运转这个文件，会装置环境，并展现终究补帧而来的超级慢动作作用。 我们也能够运用自己的视频资料，将下方生成代码中的 lightning-dick-clip.mp4 改为你的视频文件名。 现在，该渠道还能薅羊毛，每周都赠送 vGPU 的运用时长，人人都可轻松完结，从速着手试试吧！ 竞技宝官网app |
