Zi 字媒體

AI 超級慢動作！NVIDIA 用深度學習來加強慢動作補幀的自然表現

2021/12/25

似乎只要牽扯到如何「更自然」，就會是深度學習的新發揮空間。針對 AI 與深度學習的應用，NVIDIA 又端出了一個新的應用範例。透過機器學習加上人工智慧（當然還有 NVIDIA Tesla V100 顯示晶片）的威能，該公司將以往很容易因為慢動作補幀技術的畫面不自然問題，透過 AI 技術有了很大改善。得到的就是看起來似乎與真正用專業級高格率攝影機所拍出的慢動作一樣的帥氣 AI 超級慢動作影像。

▲圖片來源：NVIDIA

AI 超級慢動作！NVIDIA 用深度學習來加強慢動作補幀的自然表現

姑且不論超級慢動作這種高格率的錄影，其實是需要相當專業器材才能達成 — 即便是現在手機的 960fps 慢動作，其實在畫質亦或是拍攝時間上都會有折衷，更別說高格率的影片也會需要更大的儲存空間，這些都是麻煩之處。以往，會有人透過前後偵測內容的軟體補幀方式來達成類似效果，但終究還是有些不自然感，很容易被看出事後製達成的。對此，NVIDIA 想到了利用深度學習各種動作影片的方式，加強前後格補幀的處理的自然程度。

▲圖片來源：NVIDIA

NVIDIA 以超過 11,000 支的 240fps 高格率影片，訓練這套應用 NVIDIA Tesla V100 GPU 透過基於 cuDNN 的 PyTorch 深度學習架構，達到更自然的慢動作軟體補幀效果。基本上就示範影片中，看起來從 30fps 放慢到 240fps 或是 60fps 放慢到 480fps（應該就是在 4x 左右）都是處理的非常自然，並可得到相較以往技術更為流暢且更少動態模糊感 — 雖然室內的動態還是免不了會有較多動態模糊，但至少也還算自然。

有興趣想看看 AI 能為慢動作補幀帶來多驚人的進步，可以看看底下的影片，有些拍攝題材其實畫面元件的尺寸與動態方向都是相當細微複雜的，但看起來 NVIDIA 訓練的這個 AI 的確很有一套，真希望這種強大的後製技術可以早日來到你我手上啊。