EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks

Introduction

使用單視角2D圖片集，無監督地生成高質量且視角一致性強的3D模型，一直以來都是一個挑戰。現存的3D GANs要不計算量巨大，要不無法保證3D-consistent。前者限制了生成圖片的質量，后者無法解決視角一致性的問題。這篇工作提出的新網絡架構，能又快又好地生成3D geometry。

這篇工作提出了兩個方法。首先，作者用顯隱混合的方法，提高了時空效率，并有較高的質量。第二，提出了dual-discrimination策略，保證了多視角一致性。同時，還引入了pose-based conditioning to the generator，可以解耦pose相關的參數，保證了輸出的視角一致性，同時忠實地重建數據集隱含的pose-correlated參數。

同時，這個框架能解耦特征生成和神經渲染，從而可以直接使用SOTA的2D GANs，比如StyleGAN2。

Tri-Plane Hybrid 3D Representation

我們需要一種高效且表達力強的3D表示方法，來訓練高分辨率的GAN。

這里以單場景過擬合(SSO)來證明三平面表示法的有效性。

每個平面都是\(N\times N \times C\)的，其中\(C\)是通道數。

每次查詢一個3D坐標\(\mathbf{x} \in \mathbb{R}^3\)，將其投影至每個平面上，用雙線性插值得到3個特征向量\(F_{xy},F_{xz},F_{yz}\)

將這3個特征向量累加后，通過一個輕量級的decoder，也就是一個小型MLP，輸出RGB和Density

再用volume rendering得到最終圖像

這樣做的好處是，decoder規模很小，賦予了顯式表示更強的表達能力，并減小了計算壓力

在新視角合成的實驗上，三平面緊湊而富有表達力，以更低的計算成本，得到了更好的表現

三平面的時空成本是\(O(N^2)\)的，而voxel是\(O(N^3)\)的

最重要的是，用2D GANs生成planes，就能得到3D表示

3D GAN Framework

CNN Generator Backbone & Rendering

三平面的特征，是由StyleGANA生成的，同時Latent Code和相機參數會輸入Mapping Network，生成一個Intermediate Latent Code

StyleGAN2被修改后，輸出\(256\times 256\times 96\)的特征圖，之后被reshape成32通道的平面

接著從三平面采樣，累加后，通過輕量級decoder，生成density和32通道的特征，然后由neural volume renderer生成2D特征圖（而非RGB圖）

Super Resolution

三平面仍不足以直接生成高分辨率圖，因此添加了超分模塊

使用了2個StyleGAN2的卷積層，上采樣并優化32通道特征圖，得到最終的RGB圖像

Dual Discrimination

對StyleGAN2的discrimination做了兩個修改

首先，添加Dual Discrimination以保證生成圖片的視角一致性，即保證原始圖片（低分辨率生成的）和超分后的圖片的一致性，將低分辨率圖片直接雙線性上采樣后，和超分圖片concat形成6通道圖片，真實圖片也模糊后的自己拼接，也形成6通道圖片，進行判別。

這樣做，不僅能encourage最終輸出和真實圖片的分布匹配，也讓神經渲染器盡可能匹配下采樣的真實圖片，并讓超分圖片和神經渲染保持一致。

其次，作者對discriminator輸入了相機內外參，作為一個conditioning label，從而讓generator學到正確的3D先驗。

Modeling Pose-Correlated Attributes

真實世界數據集如FFHQ，相機姿態與其他參數（如表情）有關聯

比如，相機角度與人是否微笑是有關系的，這會導致生成結果視角不一致

因此，為了更好的生成質量，需要將這些參數與相機姿態解耦

這篇工作使用了Generator Pose Conditioning解耦pose和其他參數

Mapping Network不僅接受Latent Code，還接受相機參數做為輸入

給予backbone相機姿態作為先驗，從而讓視角可以和生成產生聯系

也就是說，generator可以建模數據集中隱式的pose dependent biases，更忠實地反映數據集特征

為了避免在渲染時因相機移動產生視角不一致，在渲染時保持generator輸入的相機參數不變