游戲中“捏臉”還需要高手教程？用這個AI模型，一張肖像照就可以快速生成

在游戲中，親手創造一個與眾不同的角色，樂趣不言而喻。但有時往往是“游戲五分鐘，捏臉兩小時”。

從主機、PC 到手機游戲，隨著硬件配置不斷迭代，游戲在畫面精細度和玩法操控度方面也越發強大，很多游戲開發商為了滿足玩家們的個性化需求，都提供了一整套為游戲角色 “捏臉” 的系統，及游戲模型能讓玩家根據自己的審美細化設定角色外觀。

與此同時，游戲背后的計算機科學家們也一直在努力設計新的技術，使游戲體驗更加沉浸化，以期達到引人入勝的效果，其中就包括自動創建接近真人的游戲角色的方法。

不過，目前大多數現有的創建和定制游戲角色的方法都要求玩家手動調整角色的面部特征，以便重新創建自己的面部或捏成其他人的面部，一個玩家通常需要幾個小時耐心去手動調整數百個參數（例如臉型、眼睛）來創建一個類似于指定肖像的角色，

最近，一些開發人員也嘗試開發一些新方法，通過分析真實人物的面部圖像，自動定制角色的面部，但這些方法實際效果通常不佳，要么過程復雜，要么對人臉形狀和紋理的自由度有限。

來自網易伏羲 AI 實驗室和密歇根大學的研究人員最近發明了一種深度學習的方法，名為 MeInGame，它可以通過分析一個人臉的單個肖像而自動生成游戲人物臉，這項技術在 arXiv 上預先發表的一篇論文中提出。

開發這項技術研究人員在論文中寫道：“我們提出了一種自動創建人物面部的方法，可以從一張肖像中預測生成面部的形狀和紋理，并可以集成到大多數現有的 3D 游戲中?！?/span>

不少捏臉高手為了在游戲中捏出一個指定人物的臉可謂煞費苦心，甚至總結了一套復雜的教程和參數包，而今后，可能只需要輸入一張人臉照片就能輕松搞定了。

現有游戲中的人臉定制系統，很多是基于三維變形模型（3DMM）計算實現的，作為一種經典的三維人臉形狀和反照率的統計模型，3DMM 在人臉分析、模型擬合、圖像合成等方面有著廣泛的應用。

雖然基于 3DMM 的方法可以從單個圖像中恢復出的三維人臉，但其網格的拓撲結構與大多數游戲中使用的網格不同，為了獲得逼真的紋理，現有的方法需要大量的人臉紋理數據進行訓練，而建立這樣的數據集往往既費時又費力。

此外，這些數據集并不總是包含隨機收集的真實圖像，因此，在這些數據集上訓練的模型在呈現新數據時，很難表現出一致的良好性能，進一步而言，這種在實驗室條件下進行的方法在真實情況下可能無法很好地落地推廣，盡管人們已提出了許多基于深度學習的三維人臉重建方法，目前在游戲中的應用仍然較少。

對于 MeInGame 模型的特點，研究人員在論文中闡釋說：“給定一張輸入的人臉照片，我們首先基于 3D 變形人臉模型（3DMM）和卷積神經網絡（CNNs）重建 3D 人臉，然后將 3D 人臉的形狀轉移到模板網格上。該網絡以人臉照片和展開的粗 UV 紋理圖為輸入，預測光照系數和細化紋理圖?！?/span>

利用神經網絡的強大功能，可以有效地去除輸入中不需要的光照分量和遮擋。由于典型游戲引擎的渲染過程是不可微的，他們還利用可微渲染方法將渲染輸出中的梯度反向傳播到訓練過程中需要參數更新的各個模塊。

這樣，所有的網絡組件都能以端到端的方式順利訓練。為了減少訓練數據的依賴性，除了可微繪制外，他們還設計了一種新的基于半監督學習的訓練流水線，使用配對數據進行監督學習，使用未標記數據進行自我監督學習。因此，MeInGam 網絡能夠以半監督的方式進行訓練，減少對預定義紋理貼圖的依賴。

最后，通過將生成的人臉網格和紋理加載到游戲環境中，就可以為玩家創建逼真的游戲角色。

值得注意的是，研究人員將人臉形狀和紋理的重建作為一個自我監督的人臉相似性度量問題。在可微繪制的基礎上，設計了一個繪制循環，從與輸入人臉照片相似的預測形狀和紋理中強制進行二維人臉繪制。