深度學習降噪專題課:課程介紹
大家好~本課程基于全連接和卷積神經網絡,學習LBF等深度學習降噪算法,實現實時路徑追蹤渲染的降噪
本課程偏向于應用實現,主要介紹深度學習降噪算法的實現思路,演示實現的效果,給出實現的相關代碼
線上課程資料:
掃碼加QQ頻道,獲得相關代碼等資料,與群主交流討論:

本系列文章為線上課程的復盤,每上完一節課就會同步發布對應的文章
本文為第一節課:課程介紹的復盤文章
本課程系列文章可進入合集查看:
深度學習降噪專題課系列文章合集
為什么要學習深度學習?
我主要關注在圖形學中的應用,在“深度學習和圖形學渲染的結合和應用” 中總結了深度學習在圖形學中的部分應用。
具體來說應用包括下面幾個方面:
- 降噪

如上圖所示,左邊為路徑追蹤生成的有噪點的場景圖片,右邊為經過深度學習降噪后的清晰圖片
降噪主要使用深度學習中的卷積神經網絡,這也是本課程會重點學習的
在最新的論文中,已經實現了10ms降噪,從而可以用在實時渲染的全局光照中了!
- 神經渲染
具體說就是2D圖片轉成3D場景
比如谷歌之前發布的3D地圖,就是使用了該技術。它先從多個角度拍攝街道,然后通過深度學習中的NeRF將其轉換為可從任意視角觀看的3D模型
- 語義圖像合成
深度學習通過GAN網絡,可以將“我的世界”這種體素構成的3D場景,轉換為三角面構成的3D場景,從而可以實現玩家在游戲中既可以像我的世界那樣,通過操作體素的方式自定義世界,又可以切換到真實渲染模式(三角面組成的3D場景)查看渲染精美的3D場景
- 輻照度緩存
在Real-time Neural Radiance Caching for Path Tracing論文中,提出了使用深度學習實現輻照度緩存,從而加快路徑追蹤的渲染速度
- 高清分辨率的紋理
在NeuMIP: Multi-Resolution Neural Materials論文中,提出了使用深度學習實現高清分辨率的紋理
前置要求
本課程在《深度學習基礎課》的基礎上進行降噪專題的學習,請大家首先閱讀下面的資料,對深度學習基礎班的內容有一個大概的了解:
深度學習基礎課系列目錄
技術棧
-
Rescript
Rescript以前叫Reasonml,它跟Typescript類似,都屬于編譯到Javascript的語言
Rescript是從Ocaml而來,基于函數式編程范式,高度優化了編譯后的Javascript,性能非常好,非常適合像深度學習這種處理數據的場景
Rescript的學習資料為:
官方文檔 -
WebGPU
課程特色
- 偏向于應用實現,介紹實現思路,演示實現效果,給出實現代碼
- 使用自己實現的深度學習框架
學員收益
- 了解降噪算法的實現思路
- 獲得降噪算法的實現代碼
課程大綱
課程內容包括:
- 課程介紹
- 整體介紹降噪算法
- 介紹LBF實現思路
- 介紹KPCN實現思路
- 介紹KPCN實現代碼
- 介紹WPSK實現思路
- 使用CPU后端的深度學習框架,實現WPSK
- 深度學習框架加入WebGPU后端
- 使用WebGPU后端的深度學習框架,實現WPSK
- 結合路徑追蹤渲染器,使用WPSK降噪
浙公網安備 33010602011771號