大資料文摘授權轉載自hyperAI超神經 作者:神經星星 近日,一個基於 Tacotron2 和 Transformer 實現文字轉聲音的 AI 應用——Uberduck.AI 破圈了,不少 TikTok 、YouTube 網紅博
2021-06-05 17:41:17
大資料文摘授權轉載自hyperAI超神經
作者:神經星星
近日,一個基於 Tacotron2 和 Transformer 實現文字轉聲音的 AI 應用——Uberduck.AI 破圈了,不少 TikTok 、YouTube 網紅博主都在推薦這一神器。
YouTube 的網紅音樂藝術創意機構 Herr Fuchs 釋出了一首新歌,基於Uberduck.AI 合成了知名嘻哈歌手坎爺 Kanye West 的聲音,並創作了這首《The Breakup》。
這首融合了流行音樂元素和 AI 技術的《The Breakup》一經發布,就收到了樂迷和開發者們的關注。
網友們盛讚這首歌的品質堪比坎爺本爺的作品,聲線也如假包換,還有不少網友留言:「這首歌應該放到坎爺的新專輯裡」、「我覺得這首秒殺了坎爺的其他歌」、「坎爺被打臉」等等。
這首聽起來製作精良、幾乎接近坎爺本人聲線的歌曲,是在作詞後,經由 Uberduck AI 將歌詞文字轉換為語音,這一步通過 Tacotron 2 將歌詞生成語音,並進行聲音風格遷移,對侃爺的聲音進行模仿輸出。
配合上 Herr Fuchs 的兩位藝術家作曲和製作,最終形成了這首作品。
Uberduck AI(項目地址 https://uberduck.ai/)在官網中介紹,這是一個始於 2020 年的社群共建的開源項目,發起人希望可以打造一個友好、創意、開放的對話服務。
在 Uberduck AI 的官網上,只要輸入語言文字,選擇你想要模仿聲音的角色,就可以生成他們的聲音。
幫助 UberDuck AI 實現文字到語音生成的 Tacotron2 是 Google 釋出的基於深度學習的端到端的語音生成模型,模型分為:具有注意力的迴圈序列到序列特徵預測網路,該網路根據輸入字元序列預測梅爾譜幀的序列,和 WaveNet 的修改版,可生成以預測的梅爾譜幀為條件的 time-domain waveform 樣本,效果更接近自然人聲。
Tacotron2 模型結構
Uberduck AI 通過 Discord 和 Github 維護項目,目前已經有 20 多個程式碼貢獻者,近千名成員,開發者可以優化生成模型、貢獻角色語音語料庫,還可以為生成出的聲音增加效果比如唱歌、說唱、語氣等等。
在項目網站上可以選擇模仿生成的角色,這些語音語料和模型優化,也都是由程式碼貢獻者一起參與的。目前支援直接生成的角色,包括動畫人物:米老鼠、海綿寶寶、瘋狂動物城裡的狐狸 Nick 等;還可以選擇諸如神祕博士、小黃人等影視劇裡的角色。
YouTube 網友上傳的各個角色語音生成效果(英文)
還可以選擇遊戲裡的人物,比如《2077賽博朋克》裡的銀手、《俠盜獵車手》裡的 NPC 還有超級瑪麗。當然也包括現實中的知名人物,比如坎爺、阿姆和幾位演員。
Uberduck 還開放了項目的 Colab,有興趣的小夥伴可以繼續深入瞭解:
這首歌的成功,也依賴於詞曲作者的不凡才華。 藝術家 Reto Hüttenmoser 和 Gina Pigagnelli 來自於瑞士蘇黎世,兩個人組成了 Herr Fuchs 這家創意廣告機構,他們的主業是為汽車品牌商設計廣告和營銷方案,副業是 YouTube 上的網紅博主。 這首《The Breakup》的歌詞不僅非常符合 Hiphop 和 Rap 的審美標準,說唱歌詞裡還設計了非常有坎爺個人風格的表達,比如吐槽和卡戴珊的婚姻、競選美國總統等等。 詞曲作者 Herr Fuchs 團隊 近期他們還創作了一首《Dogecoin Song - To the Moon 》(漲到月球——狗狗幣之歌),獲得 Elon Musk 的轉發,在 YouTube 上播放量破百萬次。 相關連結: 《The Breakup》: Uberduck AI: https://uberduck.ai/ Uberduck AI colab: https://colab.research.google.com/drive/1WTilMdm9Vf7KE79gzkeeTBigAN6iv3Bg
相關文章
大資料文摘授權轉載自hyperAI超神經 作者:神經星星 近日,一個基於 Tacotron2 和 Transformer 實現文字轉聲音的 AI 應用——Uberduck.AI 破圈了,不少 TikTok 、YouTube 網紅博
2021-06-05 17:41:17
如果現在蘋果突然推出4G的iPhone手機,很多網友只會見怪不怪了,感覺很正常;如果是小米現在推出4G手機,相信很多網友會口吐芬芳,將雷軍罵到退網;如果是華為手機如今推出4G手機,相信很
2021-06-05 17:40:50
作為蘋果的首款5G手機,iPhone12的問世,撬動了果粉累積多年的換機潮。再加上效能強悍、價格合理的特點,iPhone12上市後始終處於熱銷狀態。伴隨著iPhone12的熱銷,iPhone11的熱度逐
2021-06-05 17:40:19
Z世代,是指受到網際網路、即時通訊以及智慧手機等科技產物影響很大的一代人,他們也常被冠以個性多變、注重品質、追求時尚等的辨識標籤,並逐漸影響著各個領域。如今,「Z世代」已
2021-06-05 17:19:56
小米最近釋出了他們新的降噪 TWS耳機FlipBuds Pro。如果您還記得,小米去年推出了一款名為 Air 2 Pro的主動降噪 TWS耳機。然而,這個全新的耳機屬於一個名為 Flipbuds 的新產品
2021-06-05 17:19:17
晶片國產化的大潮中,國內企業在晶片裝置、工藝製程等多個細分領域都取得了一定突破。然而,在半導體全產業鏈中,國內還面臨一個最為關鍵的卡脖問題,這便是EDA工具。「晶片之母」
2021-06-05 17:18:17