Python全形與半形之間相互轉換的方法總結

2022-03-29 19:00:47

1.應用領域：

全形和半形的轉換通常用在自然語言處理過程中，由於全形和半形的不一致會導致資訊抽取不一致，在使用語料訓練語言模型會導致模型的效果不準確，所以需要統一。

2.全形半形轉換概述

全形字元unicode編碼範圍從65281~65374 （對應的十六進位制範圍是: 0xFF01 ~ 0xFF5E）
半形字元unicode編碼範圍從33~126 （對應的十六進位制範圍從 0x21~ 0x7E）
空格比較特殊,全形為12288（0x3000）,半形為 32 （0x20）
除空格外，全形/半形按unicode編碼排序在順序上是對應的（半形 +65248 = 全形 or 半形 + 0x7e= 全形）
所以可以直接通過用±法來處理非空格資料,對空格單獨處理

3.請注意：

中文文字永遠是全形，只有英文字母、數位鍵、符號鍵才有全形半形的概念。

一個字母或數位佔一個漢字的位置叫全形，佔半個漢字的位置叫半形。

引號在中英文、全半形情況下是不同的

4.應用到的庫函數

chr()函數用一個範圍在range（256）內的（就是0～255）整數作引數，返回一個對應的字元。
unichr()跟它一樣，只不過返回的是Unicode字元。
ord()函數是chr()函數（對於8位元的ASCII字串）或unichr()函數（對於Unicode物件）的配對函數，它以一個字元（長度為1的字串）作為引數，返回對應的ASCII數值，或者Unicode數值。

範例：

5.全形轉半形：

def strQ2B(ustring):
    rstring = ""
    for uchar in ustring:
        inside_code = ord(uchar)
        if inside_code == 12288:                            # 全形空格直接轉換
            inside_code = 32
        elif 65281 <= inside_code <= 65374:   				# 全形字元（除空格）根據關係轉化
            inside_code -= 65248
        rstring += chr(inside_code)
    return rstring

str11 = strQ2B("電影《２０１２》講述了２０１２年１２月２１日的世界末日，主人公Ｊａｃｋ以及世界各國人民掙扎求生的經歷！")
print(str11)

執行結果：

電影《2012》講述了2012年12月21日的世界末日,主人公Jack以及世界各國人民掙扎求生的經歷!

6.半形轉成全形：

def strB2Q(ustring):
    """半形轉全形"""
    rstring = ""
    for uchar in ustring:
        inside_code = ord(uchar)
        if inside_code == 32:                 # 半形空格直接轉化
            inside_code = 12288
        elif 32 <= inside_code <= 126:        # 半形字元（除空格）根據關係轉化
            inside_code += 65248
        rstring += chr(inside_code)
    return rstring

str22 = strB2Q("電影《2012》講述了2012年12月21日的世界末日,主人公Jack以及世界各國人民掙扎求生的經歷!")
print(str22)

執行結果：

電影《２０１２》講述了２０１２年１２月２１日的世界末日，主人公Ｊａｃｋ以及世界各國人民掙扎求生的經歷！

附：如何通過python轉換全形字串為半形字串範例

# coding:utf-8
from idna import unichr
def all_to_half(all_string):
    """全形轉半形"""
    half_string = ""
    for char in all_string:
        inside_code = ord(char)
        if inside_code == 12288:  # 全形空格直接轉換,全形和半形的空格的Unicode值相差12256
            inside_code = 32
        elif (inside_code >= 65281 and inside_code <= 65374):  # 全形字元（除空格）根據關係轉化,除空格外的全形和半形的Unicode值相差65248
            inside_code -= 65248

        half_string += unichr(inside_code)
    return half_string

說在後面：

下面的內容都是從網上整理出來，因為曾經使用過，所以以後查詢起來比較方便。

到此這篇關於Python全形與半形之間相互轉換的文章就介紹到這了,更多相關Python全形半形相互轉換內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！