大家好~本課程基于全連接和卷積神經網絡，學習LBF等深度學習降噪算法，實現實時路徑追蹤渲染的降噪

本課程偏向于應用實現，主要介紹深度學習降噪算法的實現思路，演示實現的效果，給出實現的相關代碼

線上課程資料：
本節課錄像回放
代碼

加QQ群，獲得相關資料，與群主交流討論：106047770

本系列文章為線上課程的復盤，每上完一節課就會同步發布對應的文章

本課程系列文章可進入合集查看：
深度學習降噪專題課系列文章合集

回顧上節課內容

回顧“深度學習蒙特卡洛降噪的基本思想”

介紹WSPK算法整體思想

WSPK針對KPCN，做了下面的優化：

• network使用了RepVGG塊，可以通過結構重參數化來使得訓練和推理的network的結構不一樣（訓練的network是多路架構，推理的network是單路架構），從而提高network的收斂速度
• network的最后一個RepVGG輸出important map+alpha map，然后通過類似于softmax的機制，實現kernel fusion，在輸出層輸出包含場景像素數據（輻射亮度：r、g、b）
  這樣做的好處是減少了最后一個RepVGG輸出的范圍，加快了訓練輸出

網絡結構如下圖所示（只顯示了最后兩層）：

介紹整體實現思路

1.使用pytorch實現訓練，保存weight
2.使用WebNN實現推理，讀取weight

演示訓練、推理

使用webgl后端，場景大小為256*256

耗時為：
2015年的macbook pro：600ms

RTX2060s：60ms

補充：
使用webgl后端，場景大小為1280*720
耗時為：
2015年的macbook pro：2000ms

目前遇到的問題

input with big image error for webgl backend: context lost

WebGPU backend error: Binding size is smaller than the minimum binding size
已得到答復：目前不支持WebGPU backend

參考資料

• WSPK算法實現
• Web Neural Network API Explained