SpringBoot使用Minio進行檔案儲存的實現

2022-07-25 18:06:06

一、minio

MinIO 是一個高效能的物件儲存原生支援 Kubernetes 部署的解決方案。 MinIO 提供了一個 Amazon Web Services S3 相容 API 並支援所有核心 S3 功能。

MinIO 物件儲存使用 buckets 來組織物件。儲存桶類似於檔案系統中的資料夾或目錄，其中每個桶可以容納任意數量的物件。 MinIO 儲存桶提供與 AWS S3 儲存桶相同的功能。

其中 MinIO 的優勢有：

高效能：

MinIO是全球領先的物件儲存先鋒，在標準硬體上，讀/寫速度上高達183 GB / 秒 和 171 GB / 秒。

可延伸性：

MinIO利用了web縮放器的來之不易的知識，為物件儲存帶來了簡單的儲存縮放模型，在 MinIO, 擴充套件從單個群集開始，該群集可以與其他MinIO群集聯合以建立全域性名稱空間, 並在需要時可以跨越多個不同的資料中心。通過新增更多叢集可以擴充套件名稱空間, 更多機架，直到實現目標。

雲原生支援：

MinIO 是在過去4年的時間內從0開始打造的一款軟體，符合一切原生雲端計算的架構和構建過程，並且包含最新的雲端計算的全新的技術和概念。其中包括支援Kubernetes 、微服和多租戶的的容器技術。使物件儲存對於 Kubernetes更加友好。

原始碼開放與企業級支援：

MinIO 基於Apache V2 license 100% 開放原始碼。這就意味著 MinIO的客戶能夠自動的、無限制、自由免費使用和整合MinIO、自由的創新和創造、自由的去修改、自由的再次發行新的版本和軟體. 確實, MinIO 強有力的支援和驅動了很多世界500強的企業。此外，其部署的多樣性和專業性提供了其他軟體無法比擬的優勢。

官方檔案地址：http://docs.minio.org.cn/minio/baremetal/

在實驗開始前請確保安裝完成了 minio ：

二、SpringBoot 使用 Minio 進行檔案儲存

首先新建一個 SpringBoot 專案，在 pom 中引入 minio 依賴：

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.2.1</version>
</dependency>

在組態檔中，宣告出 minio 的資訊：

minio:
  url: http://192.168.40.169:9000   # minio設定的地址，埠9000,注意不是控制檯的埠
  accessKey: minioadmin   # 賬號
  secretKey: minioadmin   # 密碼
  bucketName: test-bucket  # MinIO桶名字

下面建立一個設定類，對 MinioClient 進行建立：

@Data
@Configuration
@ConfigurationProperties(prefix = "minio")
public class MinioConfig {
    /**
     * 服務地址
     */
    private String url;
 
    /**
     * 使用者名稱
     */
    private String accessKey;
 
    /**
     * 密碼
     */
    private String secretKey;
 
    /**
     * 儲存桶名稱
     */
    private String bucketName;

    @Bean
    public MinioClient getMinioClient() throws Exception {
        MinioClient minioClient = MinioClient.builder().endpoint(url).credentials(accessKey, secretKey).build();
        //判斷桶是否存在，不存在則新建
        if (!minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build())){
            minioClient.makeBucket(MakeBucketArgs.builder()
                    .bucket(bucketName)
                    .build());
        }
        return minioClient;
    }
}

下面建立一個工具類 MinioTool 將常用的操作封裝在工具類中：

@Component
public class MinioTool {
    
    @Autowired
    private MinioClient minioClient;

    @Autowired
    private MinioConfig minioConfig;
 
    /**
     * 檢視儲存bucket是否存在
     *
     * @param bucketName 儲存bucket
     * @return boolean
     */
    public Boolean bucketExists(String bucketName) {
        Boolean found;
        try {
            found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return found;
    }
 
    /**
     * 建立儲存bucket
     *
     * @param bucketName 儲存bucket名稱
     * @return Boolean
     */
    public Boolean makeBucket(String bucketName) {
        try {
            minioClient.makeBucket(MakeBucketArgs.builder()
                    .bucket(bucketName)
                    .build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
 
    /**
     * 刪除儲存bucket
     *
     * @param bucketName 儲存bucket名稱
     * @return Boolean
     */
    public Boolean removeBucket(String bucketName) {
        try {
            minioClient.removeBucket(RemoveBucketArgs.builder()
                    .bucket(bucketName)
                    .build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }

    /**
     * 檢視檔案物件
     *
     * @param bucketName 儲存bucket名稱
     * @return 儲存bucket內檔案物件資訊
     */
    public Iterable<Result<Item>> listObjects(String bucketName) {
        Iterable<Result<Item>> results = minioClient.listObjects(
                ListObjectsArgs.builder().bucket(bucketName).build());
        return results;
    }

    /**
     * 批次刪除檔案物件
     *
     * @param bucketName 儲存bucket名稱
     * @param objects    物件名稱集合
     */
    public Iterable<Result<DeleteError>> removeObjects(String bucketName, List<String> objects) {
        List<DeleteObject> dos = objects.stream().map(e -> new DeleteObject(e)).collect(Collectors.toList());
        Iterable<Result<DeleteError>> results = minioClient.removeObjects(RemoveObjectsArgs.builder().bucket(bucketName).objects(dos).build());
        return results;
    }


    /**
     * 檔案上傳
     * 檔名稱相同會覆蓋
     * @param file       檔案
     * @return Boolean
     */
    public Boolean upload(MultipartFile file, String fileName) {
        try {
            if (!bucketExists(minioConfig.getBucketName())) {
                makeBucket(minioConfig.getBucketName());
            }
            PutObjectArgs objectArgs = PutObjectArgs.builder().bucket(minioConfig.getBucketName()).object(fileName)
                    .stream(file.getInputStream(), file.getSize(), -1).contentType(file.getContentType()).build();
            minioClient.putObject(objectArgs);
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
 
    /**
     * 檔案下載
     *
     * @param fileName   檔名稱
     * @param res        response
     * @return Boolean
     */
    public void download(String fileName, HttpServletResponse res) {
        GetObjectArgs objectArgs = GetObjectArgs.builder().bucket(minioConfig.getBucketName())
                .object(fileName).build();
        try (GetObjectResponse response = minioClient.getObject(objectArgs)) {
            byte[] buf = new byte[1024];
            int len;
            try (FastByteArrayOutputStream os = new FastByteArrayOutputStream()) {
                while ((len = response.read(buf)) != -1) {
                    os.write(buf, 0, len);
                }
                os.flush();
                byte[] bytes = os.toByteArray();
                res.setCharacterEncoding("utf-8");
                //設定強制下載不開啟
                res.setContentType("application/force-download");
                res.addHeader("Content-Disposition", "attachment;fileName=" + fileName);
                try (ServletOutputStream stream = res.getOutputStream()) {
                    stream.write(bytes);
                    stream.flush();
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public String getFileUrl(String fileName){
        return StringFormatter.concat(minioConfig.getUrl(), "/", minioConfig.getBucketName(), "/", fileName).getValue();
    }

}

編寫測試介面，進行測試：

@Component
public class MinioTool {
    
    @Autowired
    private MinioClient minioClient;

    @Autowired
    private MinioConfig minioConfig;
 
    /**
     * 檢視儲存bucket是否存在
     *
     * @param bucketName 儲存bucket
     * @return boolean
     */
    public Boolean bucketExists(String bucketName) {
        Boolean found;
        try {
            found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return found;
    }
 
    /**
     * 建立儲存bucket
     *
     * @param bucketName 儲存bucket名稱
     * @return Boolean
     */
    public Boolean makeBucket(String bucketName) {
        try {
            minioClient.makeBucket(MakeBucketArgs.builder()
                    .bucket(bucketName)
                    .build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
 
    /**
     * 刪除儲存bucket
     *
     * @param bucketName 儲存bucket名稱
     * @return Boolean
     */
    public Boolean removeBucket(String bucketName) {
        try {
            minioClient.removeBucket(RemoveBucketArgs.builder()
                    .bucket(bucketName)
                    .build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }

    /**
     * 檢視檔案物件
     *
     * @param bucketName 儲存bucket名稱
     * @return 儲存bucket內檔案物件資訊
     */
    public Iterable<Result<Item>> listObjects(String bucketName) {
        Iterable<Result<Item>> results = minioClient.listObjects(
                ListObjectsArgs.builder().bucket(bucketName).build());
        return results;
    }

    /**
     * 批次刪除檔案物件
     *
     * @param bucketName 儲存bucket名稱
     * @param objects    物件名稱集合
     */
    public Iterable<Result<DeleteError>> removeObjects(String bucketName, List<String> objects) {
        List<DeleteObject> dos = objects.stream().map(e -> new DeleteObject(e)).collect(Collectors.toList());
        Iterable<Result<DeleteError>> results = minioClient.removeObjects(RemoveObjectsArgs.builder().bucket(bucketName).objects(dos).build());
        return results;
    }


    /**
     * 檔案上傳
     * 檔名稱相同會覆蓋
     * @param file       檔案
     * @return Boolean
     */
    public Boolean upload(MultipartFile file, String fileName) {
        try {
            if (!bucketExists(minioConfig.getBucketName())) {
                makeBucket(minioConfig.getBucketName());
            }
            PutObjectArgs objectArgs = PutObjectArgs.builder().bucket(minioConfig.getBucketName()).object(fileName)
                    .stream(file.getInputStream(), file.getSize(), -1).contentType(file.getContentType()).build();
            minioClient.putObject(objectArgs);
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
 
    /**
     * 檔案下載
     *
     * @param fileName   檔名稱
     * @param res        response
     * @return Boolean
     */
    public void download(String fileName, HttpServletResponse res) {
        GetObjectArgs objectArgs = GetObjectArgs.builder().bucket(minioConfig.getBucketName())
                .object(fileName).build();
        try (GetObjectResponse response = minioClient.getObject(objectArgs)) {
            byte[] buf = new byte[1024];
            int len;
            try (FastByteArrayOutputStream os = new FastByteArrayOutputStream()) {
                while ((len = response.read(buf)) != -1) {
                    os.write(buf, 0, len);
                }
                os.flush();
                byte[] bytes = os.toByteArray();
                res.setCharacterEncoding("utf-8");
                //設定強制下載不開啟
                res.setContentType("application/force-download");
                res.addHeader("Content-Disposition", "attachment;fileName=" + fileName);
                try (ServletOutputStream stream = res.getOutputStream()) {
                    stream.write(bytes);
                    stream.flush();
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public String getFileUrl(String fileName){
        return StringFormatter.concat(minioConfig.getUrl(), "/", minioConfig.getBucketName(), "/", fileName).getValue();
    }

}