首頁 > 軟體

Python PaddleNLP開源實現快遞單資訊抽取

2022-06-10 14:00:59

前言

近幾年,製造業作為國民經濟主體,是國家創造力、競爭力和綜合國力的重要體現。作為製造強國建設的主攻方向,可以說,智慧製造發展水平關乎我國未來製造業的全球地位。

製造業與物流結合緊密,隨著製造業的高速發展,對自動化率、全產業鏈協同和生產效率再提高等方向均提出了更高的要求,需要物流倉儲能夠匹配相應的生產節奏。

同時,據統計,我國製造業生產成本中,物流佔比高達三成,降低物流成本成為了製造業利潤提升的關鍵一環。

今天,我將基於智慧製造 - 精益物流場景,跟大家分享一下,從快遞單資訊抽取到智慧立體庫, 盤點兩大通用的開源產業落地方案。

5 條標註資料,搞定物流快遞單資訊抽取

據統計,2021 年國內快遞件數超 1000 億件。作為勞動密集型產業,固有模式下出現的快遞人員短缺、配送效率疲軟、物流承載有限等問題,儼然成為物流行業面臨的最直接挑戰。利用智慧化手段來提高工作效率、提升使用者體驗,是物流行業最強烈且迫切的需求。

在下單環節,“買賣東西一時爽,資訊輸入超麻煩”、“門牌號、手機號碼,這輸錯一個數位就是千差萬別”、“名字還有生僻字,找都找不到” 都道出了不少人的心聲,特別是每天都需處理大量訂單的商家和物流工作人員更是苦不堪言,而這個問題可以靠 NLP 資訊抽取技術來解決。

基於此,飛槳自然語言處理模型庫 PaddleNLP 開源了通用資訊抽取技術 UIE,能夠大大加快快遞單資訊結構化效率。 可輕鬆實現從使用者提供的文字資訊中快速抽取姓名、電話、省、市、區、詳細地址等內容,形成結構化的資訊,降低客戶填單成本。

圖 1:物流快遞單資訊抽取

資訊抽取是一個行業應用價值很高的技術,卻因為任務多樣、領域多樣、資料獲取和標註成本高,導致落地成本居高不下。

因此,中科院軟體所和百度共同提出了大一統諸多工的通用資訊抽取技術 UIE(Universal Information Extraction),在實體、關係、事件和情感等 4 個資訊抽取任務、13 個資料集的全監督、低資源和少樣本設定下,均取得了 SOTA 效能,這項成果發表在 ACL’22 [1]。

前陣子,百度飛槳的 PaddleNLP 結合文心大模型中的知識增強 NLP 大模型 ERNIE 3.0,發揮了 UIE 在中文任務上的強大潛力,開源了首個面向通用資訊抽取的產業級技術方案,不需要標註資料(或僅需少量標註資料),即可快速完成各類資訊抽取任務。

圖 2:傳統方案 vs UIE 統一建模方案

在物流快遞單資訊抽取任務中,僅標註了 5 條樣本,F1 值即提升 18 個點,達到 93% 。相對於傳統序列標註方案動輒標註幾百條、幾千條的高額標註成本。可以說,PaddleNLP 開源的通用資訊抽取工具簡直是國貨之光!

這麼酷炫的技術能力,如何快速應用到業務中呢?

通過呼叫 paddlenlp.Taskflow API 即可實現零樣本(zero-shot)抽取多種型別的資訊,話不多說,直接上程式碼,看效果:

# 快遞單資訊抽取
from paddlenlp import Taskflow
schema = ['姓名', '省份', '城市', '縣區']
ie("北京市海淀區上地十街10號18888888888張三")
>>> [{'姓名': [{'text': '張三', 'start': 24, 'end': 26, 'probability': 0.97369767177317}],
   '城市': [{'text': '北京市', 'start': 0, 'end': 3, 'probability': 0.9992830142165161}],
   '縣區': [{'text': '海淀區', 'start': 3, 'end': 6, 'probability': 0.9997933003097614}]}]

對於複雜目標,可以標註少量資料(Few-shot)進行模型訓練,以進一步提升效果。PaddleNLP 打通了從資料標註 - 訓練 - 部署全流程,不僅能夠方便地進行客製化化訓練,在部署階段我們也提供了基於 ONNXRuntime 引擎部署、半精度(FP16)推理等多種加速方案,滿足 CPU、GPU 等不同場景下的部署需求。

所有原始碼及模型均已開源,大家可以嚐鮮使用,star 鼓勵。

此外,PaddleNLP 還開源了物流快遞單資訊抽取產業實踐範例,通過完整的程式碼實現,提供從資料準備到模型調優的全過程解析,堪稱產業落地的 “自動導航” 。 百度高工還將帶來手把手進行全流程程式碼實踐,輕鬆直達專案 POC 階段。

智慧立體庫盤點

物流行業的貨物儲存庫有從單一儲存特性的立體庫向多功能智慧化物流倉轉化的發展趨勢,包括賦能智慧物流集收貨、配送、分揀、客戶化客製化等功能一體的智慧物流庫,賦能智慧製造集儲存、線邊自動補給、整合自動化生產工藝為一體的多功能物流庫。

針對這一趨勢下的多功能智慧化物流倉進行智慧盤點,相較傳統物流倉而言,其難度也增加了不少,主要包括:前端工藝、安全管理制約、儲存點動態監控、全流程多點監控等,如圖 3 所示。

圖 3:多功能智慧化物流倉的智慧盤點難度

飛槳零門檻 AI 開發平臺 EasyDL 可從 0 到 1 快速構建針對多功能智慧化物流倉的智慧盤點的 AI 模型,最快 15 分鐘即可完成模型訓練。

使用流程下圖所示。

 圖 4: AI 模型訓練及部署流程

無需關注模型細節,即便是沒有任何 AI 基礎,也能快速上手使用!使用 EasyDL - 影象分割任務進行模型訓練,最終模型效果可以達到 99.9%,充分滿足產業應用的需求。

圖 5: 模型效果

物流行業自動化近年來蓬勃發展,智慧化立體庫、自動碼垛、自動搬運、自動裝車、智慧分揀等相關裝置在各行業應用廣泛。在產品在途、在庫資訊查詢、產品溯源等各個環節中,AI 技術都發揮了至關重要的作用,大大節約了物流成本,提高了物流效率和盤點效率。

即刻上手使用 EasyDL,快速構建屬於你的 AI 盤點模型吧!

以上就是Python PaddleNLP資訊抽取提取快遞單資訊的詳細內容,更多關於Python PaddleNLP資訊抽取的資料請關注it145.com其它相關文章!


IT145.com E-mail:sddin#qq.com