新垣結衣夫婦的孩子長啥樣，用 BabyGAN 預測試試

大資料文摘轉載自HyberAI超神經

作者：神經三羊

「老婆嫁人了」、「星野源奪妻之痛」、「爺青結」……星野源和新垣結衣官宣結婚後，不少網友發出瞭如上感嘆。

二人曾共同出演日劇《逃避可恥但有用》劇中兩位主角原本是「契約結婚」，後終成眷屬。

還有一波網友在坦然接受「失戀」現狀後，轉而關心起新垣結衣和星野源的孩子來，生怕孩子長得不像媽媽。

微博網友對二人孩子長相，表現出了極大關心

藉助開源模型 BabyGAN，我們預測了新垣結衣和星野源未來孩子的長相。

「大河」是《逃避雖然可恥但有用》劇中，二人孩子的名字。

根據 BabyGAN 的預測，如果新垣結衣跟星野源的孩子是個女孩的話，那麼不同年齡的大河可能長這樣：

BabyGAN 生成的女兒成長動圖

如果大河是個男孩的話，那麼不同年齡的大河可能長這樣：

BabyGAN 生成的兒子成長動圖

BabyGAN 到底是何方神器

BabyGAN 是一個基於 StyleGAN 的兒童長相預測器，可以基於編碼器和生成器，輸入父親和母親的影象，經過神經網路的處理後，生成或預測未來孩子的長相。

預測方法： 使用基於 GAN 架構的神經網路模型，從輸入的父母影象中提取 latent representation，然後用演算法將其按一定比例混合，生成孩子影象。

父親（左）、預測長相（中）、母親（右）

利用 latency direction，可以改變年齡、面部朝向、情緒及性別等參數。

項目地址：

https://github.com/tg-bomze/BabyGAN

編碼器：

https://github.com/pbaylies/stylegan-encoder

本教程主要演示了：1、從本地載入訓練好的 BabyGAN 模型2、準備父母雙方影象，並獲取其 latent representation3、用模型生成孩子的面容

4、調整孩子的性別、年齡等參數，生成符合需求的孩子影象

調整孩子性別、年齡等屬性的示意動畫

安裝環境：Python：3.6；TensorFlow：1.15注意事項：本教程推薦使用 GPU 運行

教程地址：

https://openbayes.com/console/openbayes/containers/WOpfLGoTdkg

模型訓練過程詳解

1、準備工作

2、準備父母影象

3、生成孩子影象

4、生成具有某些特徵的孩子影象

檢視完整教程：

https://openbayes.com/console/openbayes/containers/WOpfLGoTdkg

StyleGAN 相關的高贊開源項目

BabyGAN 模型基於 StyleGAN，除此之外，基於 StyleGAN 和 StyleGAN2，還派生出了諸多優質開源項目。

StyleALAE

StyleALAE 是一個基於 StyleGAN 生成器的對抗隱性自動編碼器，它不僅可以生成影象質量與 StyleGAN 相當的 1024 x 1024 人臉影象，而且在同樣的解析度下，還可以基於真實影象進行人臉重建和屬性更改。

StyleALAE 架構示意圖

StyleALAE 編碼器使用 Instance Normalization (IN) 層來提取多尺度風格資訊，這些資訊通過可學習的多重線性對映 (learnable multilinear map)，組合成隱式程式碼 w。

相關論文：

https://arxiv.org/pdf/2004.04467.pdf

項目地址：

https://github.com/podgorskiy/ALAE

StyleFlow

雖然使用 StyleGAN 可以輕鬆生成高質量、多樣化、逼真的影象，但是使用（語義）屬性控制生成過程、同時又保持高質量輸出，實現起來卻並不簡單。此外由於 GAN 潛在空間的糾纏特性，沿著一個屬性編輯很容易引起其他屬性的變化。

為了解決糾纏潛在空間的條件化探索中，屬性條件化取樣 (attribute-conditioned sampling) 和屬性條件化編輯 (attribute- conditioned editing) 的問題，科研人員提出了 StyleFlow。

利用 StyleFlow 可以針對某一屬性進行修改而不引起其他屬性的變化如只更改光照、姿勢、表情、性別等

用 StyleFlow 對真實影象進行非順序 (non-sequential) 編輯，針對老年人、非對稱等極端影象時，效果優於併發方法 (concurrent method)。

相關論文：https://rameenabdal.github.io/StyleFlow/

項目地址：

https://github.com/RameenAbdal/StyleFlow

Pixel2style2pixel (pSp)

pSp 是一個用於影象到影象轉換的 StyleGAN 編碼器，它基於一個新型編碼網路，可以直接生成一系列風格向量，這些風格向量被輸入到預訓練 StyleGAN 生成器中，形成擴展的 w+ 潛在空間。

在 pSp 中，編碼器無需額外優化就可以直接將真實影象嵌入 w+，且利用編碼器可以直接解決影象到影象的轉換任務，並將其定義為從輸入域到潛在域的編碼問題。

pSp 在 StyleGAN 反演、多模態條件影象合成人臉正面化、影象修復和超解析度場景中的成果展示

pSp 可以在不改變結構的前提下，處理各種各樣的影象轉換任務，如由分割圖生成人臉影象、人臉正面化、超解析度等。

相關論文：

https://arxiv.org/abs/2008.00951

項目地址：

https://github.com/eladrich/pixel2style2pixel

GenForce

GenForce 是一個適用於 StyleGAN、StyleGAN2、PGGAN 等深度生成模型的高效 PyTorch 庫，它具有以下特點：1、分散式訓練框架2、訓練速度快3、模組化設計，適用於新模型的原型製作4、與官方 TF 版本相比，高度再現了 StyleGAN 的訓練

5、包含眾多帶 Colab demo 的預訓練 GAN 模型

部分 GenForce 相關項目及論文

相關論文：

https://genforce.github.io/

項目地址：

https://github.com/genforce/genforce