Redis實現資料的交集、並集、補集的範例

2022-08-10 18:03:56

場景說明

今天我們來模擬一個這樣的場景，我們在本地有多個文字檔案，每個檔案裡面存了很多的32位元的字串作為使用者的唯一標識，每個使用者存做一行，假如我們每天都有非常大規模的使用者，這樣我們可能在工作中就存在需要對這些使用者進行交集、並集或補集等處理，最簡單的方式是通過Java中的集合來進行運算即可，比如通過HashSet來進行相應的一些運算，但是這樣的運算存在一個侷限性，那就是我們一般在JVM執行過程中初始的記憶體是有限的，這樣如果全部在JVM記憶體中進行計算的話，很容易出現記憶體空間不足導致的OOM異常，那麼我們今天來介紹一種拓展性更強的方式來進行這樣的一些交併補的運算：通過Redis來實現資料的交集、並集、補集

環境說明

Redis版本： Redis 6.0.6
Jedis版本： 4.2.2
工具類hutool版本： 5.8.0.M3

pom檔案：

<dependencies>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>4.2.2</version>
        </dependency>

        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.0.M3</version>
        </dependency>

</dependencies>

交併補計算

初始化常數

public class RedisCalculateUtils {
    static String oneFileString = "/Users/tmp/test-1.txt";
    static String twoFileString = "/Users/tmp/test-2.txt";

    static String diffFileString = "/Users/tmp/diff-test.txt";

    static String interFileString = "/Users/tmp/inter-test.txt";

    static String unionFileString = "/Users/tmp/union-test.txt";

    static String oneFileCacheKey = "oneFile";

    static String twoFileCacheKey = "twoFile";

    static String diffFileCacheKey = "diffFile";

    static String interFileCacheKey = "interFile";

    static String unionFileCacheKey = "unionFile";
}

初始化資料到指定檔案

/**
* 初始化資料並寫入檔案中
*/
public static void writeFile() {
        File oneFile = new File(oneFileString);
        List<String> fs = new ArrayList<>(10000);
        for (int i = 10000; i < 15000; i++) {
            String s = SecureUtil.md5(String.valueOf(i));
            fs.add(s);
        }

        FileUtil.writeUtf8Lines(fs, oneFile);

        File twoFile = new File(twoFileString);
        fs.clear();
        for (int i = 12000; i < 20000; i++) {
            String s = SecureUtil.md5(String.valueOf(i));
            fs.add(s);
        }

        FileUtil.writeUtf8Lines(fs, twoFile);
    }

指定檔案寫入Redis

/**
* 讀取檔案資料並寫入Redis
*/
public static void writeCache() {
    try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
        Pipeline p = jedis.pipelined();
        List<String> oneFileStringList = FileUtil.readLines(oneFileString, "UTF-8");

        for (String s : oneFileStringList) {
            p.sadd(oneFileCacheKey, s);
        }
        p.sync();

        List<String> twoFileStringList = FileUtil.readLines(twoFileString, "UTF-8");

        for (String s : twoFileStringList) {
            p.sadd(twoFileCacheKey, s);
        }
        p.sync();

    } catch (Exception e) {
        throw new RuntimeException(e);
    }
}

差集的計算

    /**
     * oneKey對應的Set 與 twoKey對應的Set 的差集 並寫入 threeKey
     * @param oneKey 差集前面的集合Key
     * @param twoKey 差集後面的集合Key
     * @param threeKey 差集結果的集合Key
     */
    public static void diff(String oneKey, String twoKey, String threeKey) {
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            long result = jedis.sdiffstore(threeKey, oneKey, twoKey);
            System.out.println("oneKey 與 twoKey 的差集的個數：" + result);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

差集計算結果寫入到指定檔案

    /**
     * 將計算的差集資料寫入到指定檔案
     */
    public static void writeDiffToFile() {
        File diffFile = new File(diffFileString);
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            Set<String> result = jedis.smembers(diffFileCacheKey);
            FileUtil.writeUtf8Lines(result, diffFile);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

交集的計算

/**
     *
     * @param cacheKeyArray 交集集合Key
     * @param destinationKey 交集集合結果Key
     */
    public static void inter(String[] cacheKeyArray, String destinationKey) {
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            long result = jedis.sinterstore(destinationKey, cacheKeyArray);

            System.out.println("cacheKeyArray 的交集的個數：" + result);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

交集計算結果寫入指定檔案

    /**
     * 將計算的交集資料寫入到指定檔案
     */
    public static void writeInterToFile() {
        File interFile = new File(interFileString);
        try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
            Set<String> result = jedis.smembers(interFileCacheKey);
            FileUtil.writeUtf8Lines(result, interFile);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

並集的計算

    /**
     * 計算多個Key的並集並寫入到新的Key
     * @param cacheKeyArray 求並集的Key
     * @param destinationKey 並集結果寫入的KEY
     */
     public static void union(String[] cacheKeyArray, String destinationKey) {
         try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
             long result = jedis.sunionstore(destinationKey, cacheKeyArray);

             System.out.println("cacheKeyArray 的並集的個數：" + result);
         } catch (Exception e) {
             throw new RuntimeException(e);
         }
     }

並集計算結果寫入到指定檔案

    /**
     * 將計算的並集資料寫入到指定檔案
     */
    public static void writeUnionToFile() {
         File unionFile = new File(unionFileString);
         try(Jedis jedis = new Jedis("127.0.0.1", 6379)) {
             Set<String> result = jedis.smembers(unionFileCacheKey);
             FileUtil.writeUtf8Lines(result, unionFile);
         } catch (Exception e) {
             throw new RuntimeException(e);
         }
     }

Redis命令說明

SDIFFSTORE destination key [key …]

舉例說明：

key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SDIFF key1 key2 key3 = {b,d}

SDIFFSTORE 命令的作用和SDIFF類似，不同的是它將結果儲存到 destination 集合，而把結果集返回給使用者端。

如果 destination 集合已經存在，則將其覆蓋。

返回值

結果集中成員數量

SINTERSTORE destination key [key …]

舉例說明：

key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SINTER key1 key2 key3 = {c}

SINTERSTORE 命令與 SINTER 命令類似，不同的是它並不是直接返回結果集，而是將結果儲存在 destination 集合中。

如果 destination 集合存在, 則會被覆蓋。

返回值

結果集中成員數量

SUNIONSTORE destination key [key …]

舉例說明：

key1 = {a,b,c,d}
key2 = {c}
key3 = {a,c,e}
SUNION key1 key2 key3 = {a,b,c,d,e}

SUNIONSTORE 命令的功能類似於 SUNION，不同的是不反回結果集，而是儲存在 destination 中。

如果 destination 已經存在，則被覆蓋。

返回值

結果集中的成員數量

參考資料： https://www.redis.com.cn/set.html

到此這篇關於Redis實現資料的交集、並集、補集的範例的文章就介紹到這了,更多相關Redis資料交集、並集、補集內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Redis實現資料的交集、並集、補集的範例

目錄

場景說明

環境說明

交併補計算

差集的計算

交集的計算

並集的計算

Redis命令說明

熱門文章