首頁 > 軟體

Python利用雪花演演算法實現生成唯一ID

2022-11-27 14:01:12

雪花演演算法是在一個專案體系中生成全域性唯一ID標識的一種方式,偶然間看到了Python使用雪花演演算法不盡感嘆真的是太便捷了。

它生成的唯一ID的規則也是通過常用的時間戳來統計的,但是計算方式卻更為精準。除此之外,再配合上不同機器屬性分散式的使用就可以使生成的ID在整個單擊或是分散式專案保持唯一性。

雪花演演算法通過時間規則,以二進位制的方式將進行時間戳以及機器屬性等資訊的填充,所以生成後的唯一ID是按照時間遞增的規律來排列的。為了形成對比,下面先看看在Java開發中的雪花演演算法是如何生成唯一ID的。

package utils;

public class Snowflake {

    /** 開始時間截 (2015-01-01) */
    private final long twepoch = 1420041600000L;

    /** 機器id所佔的位數 */
    private final long workerIdBits = 5L;

    /** 資料標識id所佔的位數 */
    private final long datacenterIdBits = 5L;

    /** 支援的最大機器id,結果是31 (這個移位演演算法可以很快的計算出幾位二進位制數所能表示的最大十進位制數) */
    private final long maxWorkerId = -1L ^ (-1L << workerIdBits);

    /** 支援的最巨量資料標識id,結果是31 */
    private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);

    /** 序列在id中佔的位數 */
    private final long sequenceBits = 12L;

    /** 機器ID向左移12位元 */
    private final long workerIdShift = sequenceBits;

    /** 資料標識id向左移17位(12+5) */
    private final long datacenterIdShift = sequenceBits + workerIdBits;

    /** 時間截向左移22位(5+5+12) */
    private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;

    /** 生成序列的掩碼,這裡為4095 (0b111111111111=0xfff=4095) */
    private final long sequenceMask = -1L ^ (-1L << sequenceBits);

    /** 工作機器ID(0~31) */
    private long workerId;

    /** 資料中心ID(0~31) */
    private long datacenterId;

    /** 毫秒內序列(0~4095) */
    private long sequence = 0L;

    /** 上次生成ID的時間截 */
    private long lastTimestamp = -1L;

    public Snowflake(long workerId, long datacenterId) {
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
        }
        if (datacenterId > maxDatacenterId || datacenterId < 0) {
            throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
        }
        this.workerId = workerId;
        this.datacenterId = datacenterId;
    }

    public synchronized long nextId() {
        long timestamp = timeGen();

        //如果當前時間小於上一次ID生成的時間戳,說明系統時鐘回退過這個時候應當丟擲異常
        if (timestamp < lastTimestamp) {
            throw new RuntimeException(
                    String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
        }

        //如果是同一時間生成的,則進行毫秒內序列
        if (lastTimestamp == timestamp) {
            sequence = (sequence + 1) & sequenceMask;
            //毫秒內序列溢位
            if (sequence == 0) {
                //阻塞到下一個毫秒,獲得新的時間戳
                timestamp = tilNextMillis(lastTimestamp);
            }
        }
        //時間戳改變,毫秒內序列重置
        else {
            sequence = 0L;
        }

        //上次生成ID的時間截
        lastTimestamp = timestamp;

        //移位並通過或運算拼到一起組成64位元的ID
        return ((timestamp - twepoch) << timestampLeftShift) //
                | (datacenterId << datacenterIdShift) //
                | (workerId << workerIdShift) //
                | sequence;
    }

    protected long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    protected long timeGen() {
        return System.currentTimeMillis();
    }

    public static void main(String[] args) {
        Snowflake idWorker = new Snowflake(0, 0);

        for (int i = 0; i < 100; i++) {
            long id = idWorker.nextId();
            System.out.println(Long.toBinaryString(id));
            System.out.println(id);
        }
    }


}

通過上述的Java程式碼塊就能生成100個唯一的ID,並且在Java程式碼塊中定義生成ID時各種屬性資訊,大概有100行程式碼左右,我擷取了生成唯一ID的部分結果來展示。

111001000000000011001001011001011010110000000000000000010111
1026834554947633175
111001000000000011001001011001011010110000000000000000011000
1026834554947633176
111001000000000011001001011001011011000000000000000000000000
1026834554951827456
111001000000000011001001011001011011000000000000000000000001
1026834554951827457

這樣的程式碼塊可能使用C++的方式實現的話過程可能更為複雜,相比之下Python開發的話比較簡單,因為大佬們已經將一些複雜的東西都寫好了,我們經常只需要直接呼叫即可,這裡說明一下不同程式語言都是我們做業務的一種工具,都有自己誕生的使命。

接下來,我們使用python呼叫第三方模組的方式來實現雪花演演算法,具體使用python實現雪花演演算法生成唯一ID的思路肯定和Java也是相似的。

在python中,大佬們已經封裝了pysnowflake的python非標準庫,這也是python之所以方便的原因,通過pip的方式將其安裝完成就能大顯身手了。

pip install pysnowflake -i https://pypi.tuna.tsinghua.edu.cn/simple/

安裝完成之後需要啟動雪花演演算法生成唯一ID的服務,並且可以定義工作的數量,這裡我們將工作數量定義為1啟動服務。

將snowflake.client匯入到程式碼塊中,相當於我們作為使用者端去存取伺服器端就會直接生成唯一ID。

# Importing the `snowflake.client` module.
import snowflake.client

# Calling the `get_guid()` function from the `snowflake.client` module.
uuid = snowflake.client.get_guid()

# Printing the value of the `uuid` variable.
print(uuid)

# Printing the binary representation of the `uuid` variable.
print(bin(uuid))

# 4674877370191056897
# 0b100000011100000100000000011001100011010110000000001000000000001

到此這篇關於Python利用雪花演演算法實現生成唯一ID的文章就介紹到這了,更多相關Python雪花演演算法生成唯一ID內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com