哈工大車萬翔教授帶你學習NLP新正規化：基於預訓練的方法（贈書）

2021-08-17 03:03:56

經過60餘年的發展，人們已經研發了各種各樣自然語言處理技術，這些紛繁複雜的技術本質上都是在試圖回答一個問題：語義在計算機內部是如何表示的？

根據表示方法的不同，自然語言處理技術共經歷了四次正規化變遷，分別是小規模專家知識、大規模語料庫統計模型、大規模語料庫深度學習和大規模預訓練語言模型。

特別是在2010 年之後，隨著基於深度神經網路的表示學習方法的興起，該方法直接端到端地學習各種自然語言處理任務，不再依賴人工設計的特徵。深度學習可以有效地避免統計學習方法中的人工特徵提取操作，自動地發現對於目標任務有效的表示。

雖然深度學習技術大幅提高了自然語言處理系統的準確率，但是基於深度學習的演算法有一個致命的缺點，就是過度依賴於大規模有標註資料。

由於自然語言處理這一認知類任務所具有的「主觀性」特點，以及其所面對的任務和領域眾多，使得標註大規模語料庫的時間過長，人力成本過於高昂，因此自然語言處理的標註資料往往不夠充足，很難滿足深度學習模型訓練的需要。

早期的靜態詞向量預訓練模型，以及後來的動態詞向量預訓練模型，特別是2018 年以來，以 BERT、GPT 為代表的超大規模預訓練語言模型恰好彌補了自然語言處理標註資料不足的缺點，幫助自然語言處理取得了一系列的突破。

所以，這種預訓練 + 精調的模式，已經成為了自然語言處理的新正規化。

所謂模型預訓練（Pre-train），即首先在一個原任務上預先訓練一個初始模型，然後在下游任務（也稱目標任務）上繼續對該模型進行精調（Fine-tune），從而達到提高下游任務準確率的目的。

為了能夠刻畫大規模資料中複雜的語言現象，還要求所使用的深度學習模型容量足夠大。基於自注意力的 Transformer 模型顯著地提升了對於自然語言的建模能力，是近年來具有里程碑意義的進展之一。

可以說，超大規模預訓練語言模型完全依賴「蠻力」，在大資料、大模型和大算力的加持下，使自然語言處理取得了長足的進步。

那麼，預訓練模型是如何獲得如此強大威力甚至是「魔力」的呢？

最近，車萬翔老師等所著的《自然語言處理：基於預訓練模型的方法》一書從預訓練模型的角度對這兩次重要的發展進行了系統性的論述，能夠幫助讀者深入理解這些技術背後的原理、相互之間的聯絡以及潛在的侷限性，對於當前學術界和工業界的相關研究與應用都具有重要的價值。

8月19日，機器之心最新一期分享邀請到車萬翔老師帶來本書的詳細解讀。

分享主題：自然語言處理新正規化：基於預訓練的方法

講師介紹：車萬翔博士，哈爾濱工業大學計算學部長聘教授、博士生導師，社會計算與資訊檢索研究中心副主任。教育部青年長江學者，黑龍江省「龍江學者」青年學者，斯坦福大學訪問學者。現任中國中文資訊學會計算語言學專業委員會副主任兼祕書長；國際計算語言學學會亞太分會（AACL）執委兼祕書長；中國計算機學會高階會員。在ACL、EMNLP、AAAI、IJCAI等國內外高水平期刊和會議上發表學術論文50餘篇，其中AAAI 2013年的文章獲得了最佳論文提名獎，論文累計被引用4,600餘次（Google Scholar資料），H-index值為37。

分享概要：近年來以BERT、GPT為代表的、基於超大規模生語料庫的預訓練語言模型異軍突起，充分利用大模型、大資料和大計算，使幾乎所有自然語言處理任務效能都得到了顯著提升，在若干公開資料集上宣稱達到或超過了人類水平，成為了自然語言處理的新正規化。本次分享首先介紹預訓練模型的演化過程，接著介紹預訓練模型的最新研究進展，最後對自然語言處理領域今後的發展趨勢進行展望。

分享時間：8月19日19:00-20:30

直播間：https://jmq.h5.xeknow.com/s/3P3PlM

直播提問，參與抽書

在本次直播過程中，我們將從所有在直播間評論區提問的小夥伴中隨機抽出10位送出《自然語言處理：基於預訓練模型的方法》。