詳解Python中生成亂資料的範例詳解

2022-04-14 13:00:08

在日常工作程式設計中存在著各種隨機事件，同樣在程式設計中生成亂數字的時候也是一樣，隨機有多隨機呢？在涉及資訊保安的情況下，它是最重要的問題之一。每當在 Python 中生成亂資料、字串或數位時，最好至少大致瞭解這些資料是如何生成的。

用於在 Python 中生成亂資料的不同選項，然後在安全性、多功能性、用途和速度方面對每個選項進行比較。

本篇內容不是數學或密碼學相關內容，僅僅是根據需要進行儘可能多的數學運算僅此而已。

隨機性有多隨機

大多數用 Python 生成的亂資料在科學意義上並不是完全隨機的。相反是偽隨機的：使用偽亂數生成器（PRNG）生成，它本質上是任何用於生成看似隨機但仍可重現的資料的演演算法。『真』亂數可以由真亂數生成器（TRNG）生成。

可能已經 Python 中看到過類似 random.seed(999) 的東西。此函數呼叫 Python 模組 random.seed(1234) 使用的底層亂數生成器。random 使得後續呼叫生成亂數具有確定性：輸入 A 總是產生輸出 B。

也許『隨機』和『確定性』這兩個術語似乎不能並存。為了更清楚地說明這一點這裡有一個極其精簡的版本，random() 它通過使用迭代建立一個『隨機』數位 x = (x * 3) % 19 。x 最初定義為種子值，然後根據該種子變形為確定性的數位序列。

class NotSoRandom(object):
    def seed(self, a=3):
        """亂數生成器"""
        self.seedval = a
    def random(self):
        """亂數"""
        self.seedval = (self.seedval * 3) % 19
        return self.seedval

_inst = NotSoRandom()
seed = _inst.seed
random = _inst.random

for i in range(10):
    seed(123)
    print([random() for _ in range(10)])
    
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]
[8, 5, 15, 7, 2, 6, 18, 16, 10, 11]

加密安全性

如果對『RNG』首字母縮略詞還不夠了解，再新增一個 CSPRNG，或加密安全 PRNG。 CSPRNG 適用於生成敏感資料，例如密碼、身份驗證器和令牌。給定一個隨機字串，實際上無法確定在隨機字串序列中哪個字串出現在該字串之前或之後。

另一個術語熵，引入或期望的隨機性數量。例如將在介紹的一個 Python 模組定義了 DEFAULT_ENTROPY = 32，即預設返回的位元組數。

關於 CSPRNG 的一個關鍵點是它們仍然是偽隨機的。它們以某種內部確定性的方式設計，但新增了一些其他變數或具有使它們『足夠隨機』以禁止返回到任何強制執行確定性的函數的屬性。

Python 工具中的 PRNG 和 CSPRNG ：

PRNG 選項包括 Python 標準庫中的 random 模組及其基於陣列的 NumPy 對應模組 numpy.random。
Python 的 os、secrets 和 uuid 模組包含用於生成加密安全物件的函數。

PRNG

random 模組

random模組是在 Python 中生成亂資料的最廣為人知的工具可，使用Mersenne Twister PRNG 演演算法作為其核心生成器。

構建一些沒有播種的亂資料。該 random.random() 函數返回區間 [0.0, 1.0) 內的隨機浮點數。

import random
random.random()
0.1250920165739744
random.random()
0.7327868824782764

使用 random.seed()，可以使結果可重現，並且之後的呼叫鏈random.seed() 將產生相同的資料軌跡。

亂數序列變為確定性的，或完全由種子值確定。

random.seed(444)
random.random()
0.3088946587429545
random.random()
0.01323751590501987

random.seed(444)
random.random()
0.3088946587429545
random.random()
0.01323751590501987

使用 random.randint() 可以使用該函數在 Python 中的兩個端點之間生成一個隨機整數。資料在整個 [x, y] 區間並且可能包括兩個端點。

>>> random.randint(0, 10)
2
>>> random.randint(500, 50000)
9991

使用 random.randrange() 可以排除區間的右側，生成的數位始終位於 [x, y) 範圍內，並且始終小於右端點。

random.randrange(1, 10)
9

使用 random.uniform()，從連續均勻分佈中提取生成位於特定 [x, y] 區間內的隨機浮點數。

random.uniform(20, 30)
27.42639687016509
random.uniform(30, 40)
36.33865802745107

使用 random.choice() 從非空序列（如列表或元組）中選擇隨機元素。

items = ['A', 'B', 'C', 'D', 'E']
random.choice(items)
'B'

random.choices(items, k=2)
['A', 'C']
random.choices(items, k=3)
['C', 'D', 'E']

使用 random.sample() 不替換的情況下模擬取樣。

random.sample(items, 4)
['A', 'D', 'B', 'E']

使用 random.shuffle() 修改序列物件並隨機化元素的順序。

random.shuffle(items)
items
['E', 'B', 'A', 'C', 'D']

生成一系列唯一長度一致的隨機字串的例子，一般用於驗證碼這種。

from random import Random

# 隨機生成郵件驗證碼的隨機字串
def RandomsStr(random_length):
    Str = ''
    chars = 'AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz0123456789'  # 設定可選字元
    length = len(chars) - 1
    random = Random()
    for i in range(random_length):
        Str += chars[random.randint(0, length)]
    return Str

RandomsStr(10)
LhK3vFepch

RandomsStr(16)
iGy1g0FO54Cjx3WP

陣列 numpy.random

大多數函數都 random 返回一個標量值（單個int、float或其他物件）。生成序列的話可以使用列表生成的方法。

[random.random() for _ in range(5)]
[0.7401011155476498,
 0.9892634439644596,
 0.36991622177966765, 
 0.14950913503744223, 
 0.4868906039708182]

numpy.random 使用自己的 PRNG，與普通的 random 不太一樣。

"""
從標準正態分佈返回樣本
"""
np.random.randn(5)
array([-0.59656657, -0.6271152 , -1.51244475, -1.02445644, -0.36722254])

np.random.randn(3, 4)
array([[ 0.34054183,  1.59173609, -0.5257795 , -0.86912511],
       [-0.86855499, -0.64487065,  1.47682128,  1.8238103 ],
       [ 0.05477224,  0.35452769,  0.14088743,  0.55049185]])

"""
根據概率隨機分配
"""
np.random.choice([0, 1], p=[0.6, 0.4], size=(5, 4))
array([[0, 1, 0, 1],
       [0, 1, 1, 1],
       [0, 1, 0, 1],
       [1, 0, 0, 0],
       [0, 0, 0, 0]])

"""
建立一系列隨機布林值
"""
np.random.randint(0, 2, size=25, dtype=np.uint8).view(bool)
array([ True, False,  True,  True, False,  True, False, False, False,
       False, False,  True,  True, False, False, False,  True, False,
        True, False,  True,  True,  True, False,  True])

random模組與NumPy對照表

random模組	NumPy 對應方	說明
random()	rand()	[0.0, 1.0) 中的隨機浮點數
randint(a, b)	random_integers()	[a, b] 中的隨機整數
randrange(a, b[, step])	randint()	[a, b) 中的隨機整數
uniform(a, b)	uniform()	[a, b] 中的隨機浮點數
choice(seq)	choice()	隨機元素來自seq
choices(seq, k=1)	choice()	帶有替換的隨機k元素seq
sample(population, k)	choice()和replace=False	無替換的隨機k元素seq
shuffle(x[, random])	shuffle()	將序列隨機打亂
normalvariate(mu, sigma)或者gauss(mu, sigma)	normal()	mu具有均值和標準差的正態分佈樣本sigma

CSPRNG

儘可能隨機 os.urandom()

在不涉及太多細節的情況下，生成依賴於作業系統的隨機位元組，可以安全地稱為密碼安全 secretsuuidos.urandom()，在技術上仍然是偽隨機的。

唯一的引數是要返回的位元組數。

os.urandom(3)
b'xa2xe8x02'

x = os.urandom(6)
x
b'xcex11xe7"!x84'

type(x), len(x)
(bytes, 6)

但是這種儲存格式不太符合開發的要求。

secrets 最佳儲存方式

Python 3.6+ 版本引入的 PEP，secrets模組旨在成為事實上的 Python 模組，用於生成加密安全的隨機位元組和字串。

secrets 基本上是一個包裝器 os.urandom()。只匯出了少數用於生成亂數、位元組和字串的函數。

n = 16

# 生成安全令牌
secrets.token_bytes(n)
b'Ax8czxe1oxf9!;x8bxf2x80pJx8bxd4xd3'
secrets.token_hex(n)
'9cb190491e01230ec4239cae643f286f'  
secrets.token_urlsafe(n)
'MJoi7CknFu3YN41m88SEgQ'
# `random.choice()` 的安全版本
secrets.choice('rain')
'a'

UUID

生成隨機令牌的最後一個選項是 Python 的 uuid 模組中的 uuid4() 函數。 UUID 是一個通用唯一識別符號，一個 128 位序列（長度為 32 的字串），旨在『保證跨空間和時間的唯一性』。 uuid4() 是該模組最有用的函數之一，該函數也使用了 os.urandom()。

import uuid

uuid.uuid4()
UUID('3e3ef28d-3ff0-4933-9bba-e5ee91ce0e7b')
uuid.uuid4()
UUID('2e115fcb-5761-4fa1-8287-19f4ee2877ac')

可能還看到了其他一些變體：uuid1()、uuid3() 和 uuid5()。它們之間的主要區別在於這 uuid4() 三個函數都採用某種形式的輸入，不符合 uuid4() 的『保證跨空間和時間的唯一性』。

除了安全模組（例如 secrets）之外，Python 的 random 模組實際上還有一個很少使用的類，稱為 SystemRandom，它使用 os.urandom()。（反過來，SystemRandom 也被祕密使用。這有點像一個可以追溯到 urandom() 的網路。）

那麼為什麼不『預設』這個版本？為什麼不『永遠安全』，而不是預設使用在密碼學上不安全的確定性隨機函數？

1.因為有時希望資料具有確定性和可重複性，以供其他人後續使用。

2.時間效率問題。

"""
CSPRNG 至少在 Python 中，往往比 PRNG 慢得多。 
讓我們使用指令碼 timed.py 來測試，該指令碼使用 timeit.repeat() 比較 randint() 的 PRNG 和 CSPRNG 版本。
"""

import random
import timeit

# CSPRNG 版本依次使用 `SystemRandom()` 和 `os.urandom()`。
_sysrand = random.SystemRandom()

def prng() -> None:
    random.randint(0, 95)

def csprng() -> None:
    _sysrand.randint(0, 95)

setup = 'import random; from __main__ import prng, csprng'

if __name__ == '__main__':
    print('Best of 3 trials with 1,000,000 loops per trial:')

    for f in ('prng()', 'csprng()'):
        best = min(timeit.repeat(f, setup=setup))
        print('t{:8s} {:0.2f} seconds total time.'.format(f, best))

Best of 3 trials with 1,000,000 loops per trial:
	prng()   0.93 seconds total time.
	csprng() 1.70 seconds total time.

工程隨機性的比較

封裝/模組	描述	加密安全
random	使用 Mersenne Twister 快速簡單的亂資料	不
numpy.random	像random但對於（可能是多維的）陣列	不
os	包含urandom()，這裡介紹的其他功能的基礎	是
secrets	設計為 Python 的事實上的模組，用於生成安全的亂數、位元組和字串	是
uuid	用於構建 128 位識別符號的一些函數的所在地	uuid4()是