Deepfake讓美國人羅伯特·德尼羅用流利的德語表演臺詞！

2021-06-01 00:13:20

豐色發自凹非寺量子位報道 | 公眾號 QbitAI

當電影用另一種語言配音時，演員的面部動作、口型在新的語言下會非常違和。

不信你看，當章子怡的《臥虎藏龍》被配音成英語後：

00:04

現在，最新的技術可以幫大家免除這種「尷尬」：

使用Deepfake來操縱演員的嘴脣和麵部表情，使之匹配新語言配音。效果非常逼真！從口型看起來就像演員剛剛學會了一門外語，然後重新拍了一版一樣。

影帝羅伯特·德尼羅在《雙面劫匪》裡有模有樣地「說」起了德語：

00:09

德語、日語、西班牙語的《阿甘正傳》：

00:08

如果你沒看過這兩部電影，會懷疑它們其實都不是原聲嗎？

Deepfake的「用武之地」又多一個

事情是這樣的，電影《雙面劫匪》的導演在看了它的外國版後非常震驚，表示與人物口型對不上的配音毀了電影裡不少精心製作的場景。

要知道，在對電影進行其他語言版本的配音時，為了使對話更接近演員的脣部動作，有時甚至會大幅改變人物對話。

該導演說：「當時我非常傷心。你在一句臺詞詞或一個表演上做一個小的改變，就可能對故事節奏中的一個角色產生大的改變，進而對整個電影產生影響。」

最後，他實在受不了在自己的電影裡看「變味兒」的外國配音，表示還是別配了，聽原聲看字幕得了，開始「盯」上了最新的Deepfake技術。

圖片

他開始研究並參加了一個AI配音項目，該項目由德國馬克斯-普朗克研究所的一位教授領導。（該研究所出過18個諾貝爾科學獎獲得者）

他們的這項AI配音工作比傳統的Deepfake複雜得多。需要捕捉一個場景中演員的面部表情和動作，以及用另一種語言說同樣臺詞的人。然後將這些資訊結合起來創建一個3D模型，將演員的面部和頭部與配音者的嘴脣動作結合起來。

由這位導演和他參與創立的Flawless公司最終從該項目汲取了靈感，和製片廠討論決定將該技術應用到多種語言版本的電影中。

圖片

然後就有了前面我們看到的那個demo效果，人物對話使用德語等語言配音，演員的口型和麵部動作卻與該語言緊密貼合，讓觀眾根本無法意識到原版其實是用英語拍的。

圖片

演員看完表示很不安

這項技術可以幫電影公司製作多語言版本時，避免昂貴的重拍。但是有演員看到自己被AI操縱、「說」出一口流利的外語後，同時表現出了驚喜和擔憂這兩種反應。

不難理解，Deepfake一直存在爭議。

這項觸手可及的換臉技術曾被用來合成名人色情片，以及基於報復或其他目的的素人色情視訊。在政治領域也有被用來合成名人視訊發表不恰當言論，影響選舉等政治事件。對社會和倫理造成來很惡劣的影響。

圖片

現在在電影行業使用Deepfake的面部操縱，也可能引起爭議。

一家也在搞AI配音的公司負責人表示，沒法確定一些演員看到自己的表演發生這樣的變化會有什麼反應，尤其是他們不清楚這是電腦做的情況下。一些名氣更大的演員可能根本就不贊同這樣做吧。

美國銀幕演員公會（SAG）總顧問表示，這項技術可以被合法和合乎道德的使用。任何此類技術的使用都必須獲得相關演員的同意，並給予他們適當的補償後才能進行。

不知道大家期待這項技術被合法利用在電影行業嗎？