<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
jieba是優秀的中文分詞第三方庫,由於中文文字之間每個漢字都是連續書寫的,我們需要通過特定的手段來獲得其中的每個片語,這種手段叫做分詞,我們可以通過jieba庫來完成這個過程。
jieba庫的分詞原理是利用了一箇中文詞庫,將待分詞的內容與分詞詞庫對比,通過圖結構和動態規則劃分方法找到最大概率的片語。除了分詞,jieba還提供增加自定義中文單詞的功能。
將句子最精確地分開,適合文字分析;
把句子中所有可以成詞的詞語都掃描出來,速度非常快,但是不能解決歧義;
在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞
注:對中文分詞來說,jieba庫只需要一行程式碼即可。英文文字不存在分詞問題
函數 | 描述 |
---|---|
jieba.lcut(s) | 精確模式,返回一個列表值 |
jieba.lcut(s,cut_all=True) | 全模式,返回一個列表值 |
jieba.lcut_for_search(s) | 搜尋引擎模式,返回一個列表值 |
jieba.add_word(w) | 向分詞詞典中增加新詞w |
首先你需要安裝jieba庫
pip install jieba
jieba.lcut(s)是最常用的中文分詞函數,用於精確模式,將字串分割成等量的中文片語。
import jieba ls = jieba.lcut("我願意穿過璀璨繁星") print(ls)
jieba.lcut(s,cut_all=True)用於全模式,將字串的所有分詞可能列出來,冗餘最大。
import jieba ls = jieba.lcut("人面不知何處去,桃花依舊笑春風", cut_all=True) print(ls)
jieba.lcut_for_search該模式首先執行精確模式,然後在對其中長詞進一步分獲得最終結果
import jieba ls1 = jieba.lcut("仰天大笑出門去我輩豈是蓬蒿人") ls = jieba.lcut_for_search("仰天大笑出門去我輩豈是蓬蒿人") print(ls1) print(ls)
import jieba ls = jieba.lcut_for_search("仰天大笑出門去我輩豈是蓬蒿人") print(ls) jieba.add_word("蓬蒿人") ls1 = jieba.lcut("仰天大笑出門去我輩豈是蓬蒿人") print(ls1)
小結:精確模式因為不產生冗餘,最為常用。
到此這篇關於Python第三方庫jieba庫與中文分詞的文章就介紹到這了,更多相關Python jieba庫與中文分詞內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!
相關文章
<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
综合看Anker超能充系列的性价比很高,并且与不仅和iPhone12/苹果<em>Mac</em>Book很配,而且适合多设备充电需求的日常使用或差旅场景,不管是安卓还是Switch同样也能用得上它,希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
除了L4WUDU与吴亦凡已经多次共事,成为了明面上的厂牌成员,吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节,这也是20XXCLUB首次全员合照,王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
目前应用IPFS的机构:1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆,历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
开拓者的车机是兼容苹果和<em>安卓</em>,虽然我不怎么用,但确实兼顾了我家人的很多需求:副驾的门板还配有解锁开关,有的时候老婆开车,下车的时候偶尔会忘记解锁,我在副驾驶可以自己开门:第二排设计很好,不仅配置了一个很大的
2021-06-01 09:30:48
不仅是<em>安卓</em>手机,苹果手机的降价力度也是前所未有了,iPhone12也“跳水价”了,发布价是6799元,如今已经跌至5308元,降价幅度超过1400元,最新定价确认了。iPhone12是苹果首款5G手机,同时也是全球首款5nm芯片的智能机,它
2021-06-01 09:30:45