首頁 > 科技

網紅 AI 高仿坎爺釋出說唱情歌,歌迷:堪比真人原聲

2021-06-05 17:41:17

大資料文摘授權轉載自hyperAI超神經

作者:神經星星


近日,一個基於 Tacotron2 和 Transformer 實現文字轉聲音的 AI 應用——Uberduck.AI 破圈了,不少 TikTok 、YouTube 網紅博主都在推薦這一神器。


YouTube 的網紅音樂藝術創意機構 Herr Fuchs 釋出了一首新歌,基於Uberduck.AI 合成了知名嘻哈歌手坎爺 Kanye West 的聲音,並創作了這首《The Breakup》。



這首融合了流行音樂元素和 AI 技術的《The Breakup》一經發布,就收到了樂迷和開發者們的關注。


網友們盛讚這首歌的品質堪比坎爺本爺的作品,聲線也如假包換,還有不少網友留言:「這首歌應該放到坎爺的新專輯裡」、「我覺得這首秒殺了坎爺的其他歌」、「坎爺被打臉」等等。


UberDuck AI 攜語音合成技術出圈


這首聽起來製作精良、幾乎接近坎爺本人聲線的歌曲,是在作詞後,經由 Uberduck AI 將歌詞文字轉換為語音,這一步通過 Tacotron 2 將歌詞生成語音,並進行聲音風格遷移,對侃爺的聲音進行模仿輸出。


配合上 Herr Fuchs 的兩位藝術家作曲和製作,最終形成了這首作品。


Uberduck AI(項目地址 https://uberduck.ai/)在官網中介紹,這是一個始於 2020 年的社群共建的開源項目,發起人希望可以打造一個友好、創意、開放的對話服務。



在 Uberduck AI 的官網上,只要輸入語言文字,選擇你想要模仿聲音的角色,就可以生成他們的聲音。


幫助 UberDuck AI 實現文字到語音生成的 Tacotron2 是 Google 釋出的基於深度學習的端到端的語音生成模型,模型分為:具有注意力的迴圈序列到序列特徵預測網路,該網路根據輸入字元序列預測梅爾譜幀的序列,和 WaveNet 的修改版,可生成以預測的梅爾譜幀為條件的 time-domain waveform 樣本,效果更接近自然人聲。


Tacotron2 模型結構


Uberduck AI 通過 Discord 和 Github 維護項目,目前已經有 20 多個程式碼貢獻者,近千名成員,開發者可以優化生成模型、貢獻角色語音語料庫,還可以為生成出的聲音增加效果比如唱歌、說唱、語氣等等。


在項目網站上可以選擇模仿生成的角色,這些語音語料和模型優化,也都是由程式碼貢獻者一起參與的。目前支援直接生成的角色,包括動畫人物:米老鼠、海綿寶寶、瘋狂動物城裡的狐狸 Nick 等;還可以選擇諸如神祕博士、小黃人等影視劇裡的角色。


YouTube 網友上傳的各個角色語音生成效果(英文)


還可以選擇遊戲裡的人物,比如《2077賽博朋克》裡的銀手、《俠盜獵車手》裡的 NPC 還有超級瑪麗。當然也包括現實中的知名人物,比如坎爺、阿姆和幾位演員。


Uberduck 還開放了項目的 Colab,有興趣的小夥伴可以繼續深入瞭解:



詞曲作者:瑞士的網紅先鋒藝術家


這首歌的成功,也依賴於詞曲作者的不凡才華。


藝術家 Reto Hüttenmoser 和 Gina Pigagnelli 來自於瑞士蘇黎世,兩個人組成了 Herr Fuchs 這家創意廣告機構,他們的主業是為汽車品牌商設計廣告和營銷方案,副業是 YouTube 上的網紅博主。


這首《The Breakup》的歌詞不僅非常符合 Hiphop 和 Rap 的審美標準,說唱歌詞裡還設計了非常有坎爺個人風格的表達,比如吐槽和卡戴珊的婚姻、競選美國總統等等。


詞曲作者 Herr Fuchs 團隊


近期他們還創作了一首《Dogecoin Song - To the Moon 》(漲到月球——狗狗幣之歌),獲得 Elon Musk 的轉發,在 YouTube 上播放量破百萬次。



相關連結:

《The Breakup》:

https://www.youtube.com/watch?v=G9UHNaeutNs

Uberduck AI:

https://uberduck.ai/

Uberduck AI colab:

https://colab.research.google.com/drive/1WTilMdm9Vf7KE79gzkeeTBigAN6iv3Bg


IT145.com E-mail:sddin#qq.com