以下文章來源于HyperAI超神經(jīng) ，作者神經(jīng)小兮

如今，人們對于視頻幀率的追求越來越高，因為高幀率視頻更加順滑、流暢，能極大地提升人們的觀看體驗。

現(xiàn)有相機拍攝的視頻幀率，也從 24 FPS（Frames Per Second) 不斷提升到 60 FPS，再到 240 FPS 甚至更高。

在絕大多數(shù)電影幀率 24 的當下，李安的《雙子殺手》以 120 的幀率實現(xiàn)電影技術的革新

但是，高幀率的攝像設備，對于內(nèi)存需求非常大，而且成本高昂，尚不能普及。為了在沒有專業(yè)設備的情況下，能夠得到高幀率的視頻，視頻插幀技術應運而生。

而英偉達提出的 AI「腦補」**** Super SloMo，則在眾多視頻插幀技術中一騎絕塵，即使幀率僅僅為 30 幀的視頻，也可以 Super SloMo 補成 60 幀、240 幀甚至更高。

傳統(tǒng)插幀方法優(yōu)劣勢一覽

為了更好地理解 Super SloMo，我們首先來了解一下現(xiàn)有的較為傳統(tǒng)的視頻插幀技術。

幀采樣 

幀采樣就是用關鍵幀來做補償幀，其實質(zhì)就是拉長每一個關鍵幀的顯示時間，相當于并沒有插幀。除了獲得文件屬性更高的幀率和在同視頻質(zhì)量下更大的文件體積外，不會帶來任何視覺觀感上的提升。

優(yōu)點：幀采樣消耗資源少，速度快。

缺點：可能會使得視頻看起來不是很流暢。

幀混合 

幀混合，顧名思義，就是提升前后關鍵幀的透明度，再將其混合成一個新的幀，來填補空缺。

優(yōu)點：計算所需時長短。

缺點：效果不佳。由于只是簡單的把原關鍵幀變成半透明狀，運動物體輪廓在前后兩幀交疊的時候，就會產(chǎn)生明顯的模糊場景，對視頻的視覺效果流暢程度提升很小。

運動補償 

運動補償（Motion Estimation and Motion Compensation，簡稱 MEMC），其原理是在水平和垂直兩個方向上，對兩幀之間的差異尋找出現(xiàn)運動的塊，通過分析圖像塊的運動趨勢，再輔以計算得到中間幀。

MEMC 主要被應用于電視、顯示器和移動端，提升視頻幀率，給觀眾更加流暢的觀感。

優(yōu)點：減小運動抖動，減弱畫面拖尾與虛影，提升畫面清晰度。

缺點：對于運動物體背景比較復雜的情況 ，就會出現(xiàn)物體邊緣運動的 bug。

光流法 

光流法是計算機視覺研究中的一個重要方向，其根據(jù)上下幀來推斷像素移動的軌跡，自動生成新的空缺幀。有點類似于運動模糊計算方法。

優(yōu)點：畫面更流暢、卡頓感弱。

缺點：計算量大, 耗時長；對光線敏感，在光線變化較大的情況下，容易出現(xiàn)畫面紊亂的錯誤。

Super SloMo：AI 插幀法，堪稱業(yè)界經(jīng)典

在 2018 年計算機頂會 CVPR 上，英偉達發(fā)布的論文《Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation》中，提出了 Super SloMo，在業(yè)界引起廣泛關注。

《超級慢動作：用于視頻多個中間幀插值的的高質(zhì)量估計》論文地址：

https://arxiv.org/pdf/1712.00080.pdf

Super SloMo 不同于傳統(tǒng)方法，它利用深度神經(jīng)網(wǎng)絡來實現(xiàn)補幀，基本思路為：使用大量普通視頻與慢動作視頻進行訓練，然后讓神經(jīng)網(wǎng)絡學會推理，根據(jù)正常視頻生成高質(zhì)量的超級慢動作視頻。

Super SloMo 方法框架圖包括光流計算模塊（左）與特定時間流插值模塊（右）

Super SloMo 團隊提出的方法，其整個框架依賴于兩個全卷積神經(jīng)網(wǎng)絡  U-Net。

首先，用一個 U-Net 來計算相鄰輸入圖像之間的雙向光流。然后，在每個時間步長上對這些光流進行線性擬合，以近似中間幀的雙向光流。

為了解決運動邊界出現(xiàn)偽影的問題，使用另一個 U-Net 來對近似的光流進行改善，并且預測柔性可見性映射關系。最后，將輸入的兩張圖像進行扭曲和線性融合，從而形成中間幀。

此外，Super SloMo 的光流計算網(wǎng)絡和插值網(wǎng)絡的參數(shù)，都不依賴于被插值幀的特定時間步長（時間步長被做為網(wǎng)絡的輸入）。因此，它可以并行地在兩幀之間的任意時間步長上插幀，從而突破了很多單幀插值方法的局限性。

原始 SloMo 視頻（上）Super SloMo 補幀后的超級慢動作視頻（下）

作者表示，使用他們未經(jīng)優(yōu)化的 PyTorch 代碼，在單個 NVIDIA GTX 1080Ti 和 Tesla V100 GPU 上，生成 7 個分辨率為 1280*720 的中間幀，分別只需要 0.97 秒和 0.79 秒。

為了訓練網(wǎng)絡，作者從 YouTube 和手持攝像機上收集了多個 240 幀的視頻?？傆嬍占?1100 個視頻段，由 30 萬張 1080×720 分辨率的獨立的視頻幀組成。這些視頻從室內(nèi)到室外，從靜態(tài)相機到動態(tài)相機，從日?；顒拥綄I(yè)運動，包含了各類場景。

之后在其它數(shù)據(jù)集上對模型進行了驗證，結果表明，該研究在這些數(shù)據(jù)集上比現(xiàn)有的方法性能上有了顯著的提高。

跟著教程，一鍵實現(xiàn) Super SloMo

雖然英偉達這一論文的作者尚未公開數(shù)據(jù)集和代碼，不過，高手在民間，GitHub 上一位名為為 avinashpaliwal 的用戶，已經(jīng)開源了自己對 Super SloMo 的 PyTorch 實現(xiàn)，其結果與論文描述相差無幾。

該項目具體信息如下：

Super SloMo 超級慢動作鏡頭補幀

運行環(huán)境：PyTorch 0.4.1

語言版本：Python 3.6

訓練可視化：TensorboardX

訓練數(shù)據(jù)集：Adobe 240 fps

項目地址：

https://github.com/avinashpaliwal/Super-SloMo

由于模型訓練和測試是在 PyTorch 0.4.1 和 CUDA 9.2  上完成的，所以安裝這兩個軟件必不可少，另外你還需要有一張 NVIDIA 的顯卡。

此外，模型不能直接使用視頻訓練，因此還需要安裝 ffmpeg 從視頻中提取幀。這些準備工作一切就緒后，方可下載 adobe 240fps 數(shù)據(jù)集進行訓練。

不過，你也可以不需要準備這些，做一個安安靜靜的「伸手黨」，一鍵實現(xiàn) Super SloMo。

我們在國內(nèi)的機器學習算力容器服務平臺（https://openbayes.com）找到了相應的教程。

從數(shù)據(jù)集到代碼再到算力，一應俱全，即使是小白，也可以輕松上手。

教程鏈接：

https://openbayes.com/console/openbayes/containers/xQIPlDQ0GyD/overview

教程使用指南 

首先注冊并登錄 https://openbayes.com/，在「公共資源」菜單下的「公共教程」中，選擇本教程——「Super-SloMo超級慢動作鏡頭的PyTorch實現(xiàn)」。

教程中樣例展示文件是 Super-SloMo.ipynb，運行這個文件，會安裝環(huán)境，并展示最終補幀而來的超級慢動作效果。

大家也可以使用自己的視頻素材，將下方生成代碼中的 lightning-dick-clip.mp4 改為你的視頻文件名。

屬性「scale」 用于控制生成視頻的倍速，比如：設為 4，即 4 倍速慢放。

生成代碼：

!python3 'Super-SloMo/eval.py' \
    'lightning-dick-clip.mp4' \
    --checkpoint='/openbayes/input/input0/SuperSloMo.ckpt' \
    --output='output-tmp.mp4' \
    --scale=4
print('Done')

轉換視頻格式代碼：

!ffmpeg -i output-tmp.mp4 -vcodec libx264 -acodec aac output.mp4

該教程中，使用了網(wǎng)絡上的某段視頻，進行 Super SloMo 插幀，得到如下結果：

4倍速慢放，看清武術動作的每一步

目前，該平臺還能薅羊毛，每周都贈送 vGPU 的使用時長，人人都可輕松完成，趕快動手試試吧！

參考資料：

https://arxiv.org/pdf/1712.00080.pdf

http://jianghz.me/projects/superslomo/https://zhuanlan.zhihu.com/p/86426432