支援圖文和音視訊、100+增強功能，Facebook開源資料增強庫AugLy

2021-06-21 19:09:23

機器之心報道

編輯：陳萍

Facebook 近日開源了資料增強庫 AugLy，包含四個子庫，每個子庫對應不同的模態，每個庫遵循相同的介面。支援四種模態：文字、影象、音訊和視訊。

最近，Facebook 開源了一個新的 Python 庫——AugLy，該庫旨在幫助 AI 研究人員使用資料增強來評估和改進機器學習模型的可用性。AugLy 提供了複雜的資料增強工具，可以創建樣本來訓練和測試不同的系統。

項目地址：https://github.com/facebookresearch/AugLy

該庫基於 Facebook 和 Instagram 等平臺上的真實圖片和視訊提供了 100 多種資料增強功能，因此對於處理與社交媒體應用程式相關的模型或資料的研究工作特別有用。

目前 AugLy 支援四個模態：文字、影象、音訊和視訊。使用真實世界的資料進行資料增強能夠幫助機器更好地理解複雜的任務。以文字短語「love the way you smell today」為例，該文字想要表達的意思是喜歡，但是將此短語應用到臭鼬的圖片上時，想要表達的意思全部變了。AugLy 更類似於人們為了瞭解周圍的世界而從多種感官獲取資訊的方式。隨著資料集和模型變得越來越具有多模態，在一個統一的庫和 API 下轉換項目的所有資料是非常有必要的。

對於該資料增強庫，機器學習界的大佬 Yann LeCun 也轉推推薦。

AugLy 如何工作

AugLy 包含四個子庫，每個子庫對應不同的模態，每個庫遵循相同的介面：AugLy 提供了基於函數和類格式的轉換，並提供強度函數，幫助瞭解轉換的強度（基於給定參數）。AugLy 還可以生成有用的元資料，以幫助瞭解資料轉換過程。

此外，該庫已經聚合了許多擴展，以及以前從未存在過的擴展。例如，增強功能將影象或視訊疊加到社交媒體介面上，使其看起來像是使用者在 Facebook 等社交網路上截圖的影象或視訊，然後重新共享。這對於許多用例來說是一個有用的補充，因為 Facebook 上的使用者通常會以這種方式重新共享內容。

AugLy 為何如此重要

資料增強對於確保 AI 模型的魯棒性至關重要。如果可以教會模型對資料中不重要的屬性擾動具有魯棒性，那麼模型將學會關注特定用例中資料的重要屬性。

在 Facebook 中，一個重要的應用程式是檢測特定內容的「相似副本」。例如，同一條資訊可能以不同的形式重複出現。又例如影象經過修改後被裁剪了幾個畫素，或者用過濾器或新的文字覆蓋進行了增強。通過使用 AugLy 資料增強 AI 模型，它們可以在上傳已知侵權內容 (如歌曲或視訊) 時識別出來。

使用 AugLy 訓練模型來檢測相似內容意味著我們可以主動阻止使用者上傳已知侵權的內容。例如 SimSearchNet，一個基於卷積神經網路的模型，可以專門用來檢測精確複製內容，該模型是用 AugLy 增強訓練的。

除了使用 AugLy 訓練模型外，該庫還可用於確定模型相對於一組增強的魯棒性。事實上，AugLy 已經被用來評估 deepfake 檢測模型在「Deepfake 檢測挑戰賽」（Deepfake Detection Challenge）中的魯棒性，最終影響了前五名獲勝者。

AugLy 支援影象增強，如裁剪、填充影象、截圖和重新共享照片。資料增強的用途是廣泛的，AugLy 可以幫助研究人員從事各種工作，從物體檢測模型到識別仇恨言論再到語音識別。

支援圖文和音視訊、100+增強功能，Facebook開源資料增強庫AugLy

熱門文章