為回憶“上色”,GitHub 上一開源影像還原工具 Star 數已破萬!
影像記錄的方式讓我們有機會直觀的感受歷史,一張張照片、一段段視頻,承載的是一代代人的記憶。利用著色和還原技術修復老照片,成為了我們回憶親人,回顧歷史的新方法。
最近,GitHub 上就有一個名為 DeOldify 的黑白影像還原工具受到了很多關注,目前 Star 數已經破萬了。值得一的是,這個項目還是開源的!
三種模型各有所長
DeOldify 可以對舊圖像和膠片進行著色和還原,在 DeOldify 中可以選擇三種模型,每一個都有關鍵的優點和缺點,因此具有不同的用例。
藝術性模型:該模型在有趣的細節和鮮艷度方面實現了圖像著色的最高質量結果。但是,最明顯的缺點是,要獲得最佳結果要花些力氣,必須調整渲染分辨率或 render_factor 才能實現此目的。該模型在一些關鍵的常見場景,包括自然場景和肖像中表現不佳,它的重點放在解碼器端的層深度上。
穩定性模型:該模型在橫向和縱向條件下可獲得最佳效果,通常比藝術色具有更少的怪異色澤,該模型著重于解碼器側的層寬度。
視頻模型:此模型針對平滑,一致和無閃爍的視頻進行優化。這肯定是這三種模型中色彩最少的一種,但是說實話,它與“穩定”相差不遠。該模型在架構上與“穩定”相同,但在訓練上有所不同。
雖然舊照片還原技術讓我們有機會看到過去你十年甚者上百年前的真實影像,但它仍可能存在一個問題,那就是這些照片和視頻的顏色還原是否準確?
以下面這張圖為例,還原出的照片中,橋的顏色是白色的,但經過調查,這座橋其實是紅色的。也就是說,對于舊照片還原技術來說,歷史準確性仍然是一個巨大的挑戰。
NoGAN 是啥?為啥用了它圖像色彩更穩定?
什么是 NoGAN ?
這是 DeOldify 創建者開發的一種新型 GAN 訓練,用于解決以前的DeOldify模型中的一些關鍵問題。大部分訓練時間都花費在通過更直接、更快速、更可靠的常規方法分別對生成器和注釋器進行預訓練。這種方法可以消除故障和偽影。
原始 DeOldify 模型:
基于 NoGAN 的 DeOldify 模型:
影像修復技術中,穩定的還原視頻圖像非常有難度。DeOldify 采用了 NoGAN 訓練結合 GAN 訓練的方式,不僅可以提供穩定的色彩圖像修復,還能消除視頻中的閃爍。
視頻是使用隔離的圖像生成來渲染的,而無需附加任何時間建模,一次使用 1% 到 3% 的 imagenet 數據。然后,與靜止圖像著色一樣,在重建視頻之前對各個幀進行“ DeOldify”處理。
除了提高視頻穩定性之外,還有一件有趣的事情值得一提。雖然不同的模型和具有不同的培訓結構的模型,但都都或多或少地得出相同的解決方案。甚至對任意的和不可知的事物進行著色的情況也是如此,例如衣服,汽車的顏色,甚至是特殊效果的顏色。
對此,DeOldify 的創建者猜測,這些模型正在學習一些有趣的規則,以根據黑白圖像中存在的細微提示來著色。即使在運動場景中,這些渲染的結果也非常一致。
關于開源支持的聲明
開源已經為世界帶來了很多好處,DeOldify 的創建也得益于開源。
DeOldify 的創建者在聲明中表示,“我們的立場是,我們提供的研究代碼和文檔,是有益于世界的。我們所提供的是關于彩色化、廣域網和視頻的新穎表現,希望對開發人員和研究人員有所幫助,以供學習和采用?!?/p>
他們并不打算提供一個可以隨時使用的免費“產品”或“應用程序”,并且未來也不打算提供這種服務。他們說:“DeOldify 將繼續是一個基于 Linux 的項目,沒有 Windows 支持,用 Python 編碼,并要求人們有一些額外的技術背景才能使用它?!?/p>
現在,已經有一些人通過 DeOldify 開發了自己的應用程序,有的是付費的,有的是免費的。對此,DeOldify 創建者的立場是,只要你有適當的背景和資源,則該項目將為你提供足夠的入門資源。
安裝細節
這個項目是圍繞 Fast.AI 庫構建的,現在已經可以使用 Anaconda 進行簡單安裝了。
具體步驟如下:
打開命令行并導航到要安裝的根文件夾,然后鍵入以下命令:
然后開始使用以下命令運行:
GitHub 地址:https://github.com/jantic/DeOldify#a-statement-on-open-source-support