QQ在線
企業(yè)微信
資訊
408說(shuō)到神經(jīng)網(wǎng)絡(luò)，你第一個(gè)想到的什么，有不少人第一個(gè)想到的應(yīng)該是前段時(shí)間大火的換臉 APP 「 ZAO 」，神經(jīng)網(wǎng)絡(luò)在圖片領(lǐng)域堪稱「魔法」的應(yīng)用第一次展現(xiàn)在每一個(gè)普通用戶面前。
不少用戶在使用過(guò) ZAO 后，對(duì)神經(jīng)網(wǎng)絡(luò)產(chǎn)生了「技術(shù)恐懼」，擔(dān)心 ZAO 會(huì)對(duì)自己的肖像權(quán)產(chǎn)生侵害，ZAO 也因?yàn)榉N種原因迅速下架，成為技術(shù)應(yīng)用的「負(fù)面典型」。
但神經(jīng)網(wǎng)絡(luò)還有另一種用法，那就是對(duì)圖像進(jìn)行增強(qiáng)。
神經(jīng)網(wǎng)絡(luò)翻新老電影
最近，國(guó)外一個(gè) YouTuber 發(fā)布了通過(guò)神經(jīng)網(wǎng)絡(luò)增強(qiáng)的 1895 年拍攝的紀(jì)錄片《火車進(jìn)站》，整部電影只有 45 秒長(zhǎng)度，由路易 · 盧米埃和奧古斯特 · 盧米埃拍攝于法國(guó)一沿海城市。
▲ 經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)增強(qiáng)的《火車進(jìn)站》電影
傳說(shuō)放映到火車駛向鏡頭的時(shí)候，大量觀眾驚恐的從劇院跑出，展現(xiàn)了當(dāng)時(shí)人們對(duì)新技術(shù)的好奇和恐懼。當(dāng)然，這些往事都已經(jīng)成為了都市傳說(shuō)。
不過(guò)由「新技術(shù)」的神經(jīng)網(wǎng)絡(luò)對(duì)這部電影進(jìn)行翻新，也有著深遠(yuǎn)的意義。
1895 年拍攝的《火車進(jìn)站》采用 35mm 格式膠片制作，由于當(dāng)時(shí)的放映機(jī)由手搖進(jìn)行驅(qū)動(dòng)，我們可以粗略的認(rèn)為其原始幀率在 16 幀到 24 幀之間。
▲ 1895 年拍攝的《火車進(jìn)站》原片
由于當(dāng)時(shí)的膠片技術(shù)尚未成熟，我們可以看到畫面景物都是比較模糊的，火車在駛來(lái)的同時(shí)還帶有明顯的拖影。
是什么讓神經(jīng)網(wǎng)絡(luò)在圖像增強(qiáng)和插幀上有著這樣的效果呢？
我們知道，數(shù)字視頻的清晰度一般由分辨率和幀率決定（暫且不考慮影響圖像壓縮質(zhì)量的碼率）。神經(jīng)網(wǎng)絡(luò)對(duì)視頻的增強(qiáng)，也主要集中在這兩種參數(shù)上。
分辨率增強(qiáng)
首先我們來(lái)談?wù)劮直媛试鰪?qiáng)，想要將一張低分辨率的圖片變成高分辨率的圖片，我們就需要猜測(cè)放大產(chǎn)生的未知像素。通常情況下，我們會(huì)采用某種插值算法進(jìn)行計(jì)算，在圖像邊緣的模糊和鋸齒間獲得平衡，這種計(jì)算通常無(wú)法增加圖像細(xì)節(jié)，即使放大了圖像，依舊顯得很模糊。
神經(jīng)網(wǎng)絡(luò)在增強(qiáng)分辨率上就有著獨(dú)到的優(yōu)勢(shì)，或許你之前曾經(jīng)聽說(shuō)過(guò)一個(gè)軟件 waifu2x ，動(dòng)漫愛(ài)好者們經(jīng)常用它來(lái)放大動(dòng)漫插圖。當(dāng)然，它同樣可以用作照片放大。
waifu2x 的核心方法就是通過(guò)機(jī)器學(xué)習(xí)，訓(xùn)練一個(gè)端到端的網(wǎng)絡(luò)，使用低分辨率的圖像作為輸入得到對(duì)應(yīng)的高分辨率結(jié)果圖像，最后得到的結(jié)果在圖像的鋸齒與模糊程度有較好表現(xiàn)，其訓(xùn)練的原理類似于 FCN 模型。
在效果上，waifu2x 的 SRCNN （超分辨率卷積神經(jīng)網(wǎng)絡(luò)）要好于傳統(tǒng)的雙三次插值算法。
當(dāng)然，waifu2x 的算法僅能在靜態(tài)圖片上使用。不過(guò)方法都是相同的，madvr 中放大視頻分辨率的 ngu 算法也是類似的原理。
視頻插幀
對(duì)于視頻插幀來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)也有自己的用武之地，之前英偉達(dá)發(fā)布了一個(gè)叫做 Super SloMo 的神經(jīng)網(wǎng)絡(luò)，能通過(guò)聯(lián)合建模的運(yùn)動(dòng)解釋和遮擋推理配合光流算法生成中間幀。
寫在最后：技術(shù)是一把雙刃劍
可以看到，神經(jīng)網(wǎng)絡(luò)對(duì)圖像的處理（也就是常說(shuō)的 AI 圖像）并不是一個(gè)很可怕技術(shù)，它是一把雙刃劍，如果你用它來(lái)給視頻換臉，侵犯他人肖像權(quán)，它就是不好的技術(shù)。
但如果我們能將其用在老電影翻新、手機(jī)超級(jí)慢動(dòng)作、和實(shí)時(shí)視頻增強(qiáng)，那它就是好技術(shù)。
或許那位翻新《火車進(jìn)站》的 YouTuber，也正是想用這部電影的傳奇故事告訴我們，「不要恐懼新技術(shù)的到來(lái)?！?
