vue實現大檔案分片上傳與斷點續傳到七牛雲

2022-06-27 22:02:53

問題：

前段時間做視訊上傳業務，通過網頁上傳視訊到伺服器。

視訊大小小則幾十M，大則 1G+，以一般的HTTP請求傳送資料的方式的話，會遇到的問題：

1、檔案過大，超出伺服器端的請求大小限制；
2、請求時間過長，請求超時；
3、傳輸中斷，必須重新上傳導致前功盡棄；

探索過程：

1、原先諮詢過組裡的大佬給我推薦了百度的webupload，但後來引入之後發現它是基於jquery封裝的。由於本身專案是基於vue開發的所以與jquery相關的開源框架就儘量不考慮了。

2、後來查閱了資料後自己手動實現了檔案切片上傳到伺服器基本需求已經實現，但由於效率及穩定性問題後來決定還是直傳檔案到七牛雲。一開始我使用了表單上傳的方式實現了，後來種種原因又要求我做成分片上傳。

3、引入七牛的jssdk。

解決方案：

1、修改伺服器端上傳的限制設定；Nginx 以及 PHP 的上傳檔案限制不宜過大，一般5M 左右為好；
2、大檔案分片，一片一片的傳到伺服器端，再由伺服器端合併。這麼做的好處在於一旦上傳失敗只是損失一個分片而已，不用整個檔案重傳，而且每個分片的大小可以控制在4MB以內，伺服器端限制在4M即可。
3、使用七牛JavaScript SDK分片上傳

首先，剛接觸一門新的技術我們還是先去官方檔案走一圈瞭解下基本用法～

檔案地址：JavaScript SDK

Qiniu-JavaScript-SDK 為使用者端 SDK，沒有包含 token 生成實現，為了安全，token 建議通過網路從伺服器端獲取，具體生成程式碼可以參考伺服器端 SDK 的檔案。

功能簡介

上傳
- 大於 4M 時可分塊上傳，小於 4M 時直傳
- 分塊上傳時，支援斷點續傳
資料處理（圖片）
- imageView2（縮圖）
- imageMogr2（高階處理，包含縮放、裁剪、旋轉等）
- imageInfo （獲取基本資訊）
- exif （獲取圖片 EXIF 資訊）
- watermark （文字、圖片水印）
- pipeline （管道，可對 imageView2、imageMogr2、watermark 進行鏈式處理）

後端返回給你的獲取token的json格式必須是這種格式的。必須是一個json物件內部包裹著uptoken欄位，帶上其他欄位也是可以的但是必須第一層要能找到uptoken

{
   "uptoken": "0MLvWPnyya1WtPnXFy9KLyGHyFPNdZceomL...",
   "xxx": "..."
}

因為在它的sdk原始碼中是這麼獲取token的。他會先找定義的option欄位中是否有uptoken，如果沒有再去找uptoken_url有就傳送ajax請求去獲取uptoken欄位，倘若後端必須要以他的格式為主那你可以修改sdk原始碼來實現。如果uptoken_url也沒有值就回去呼叫uptoken_func函數都沒有則報錯，所以這三個必須指定一個。

        // getUptoken maybe called at Init Event or BeforeUpload Event
       // case Init Event, the file param of getUptken will be set a null value
       // if op.uptoken has value, set uptoken with op.uptoken
       // else if op.uptoken_url has value, set uptoken from op.uptoken_url
       // else if op.uptoken_func has value, set uptoken by result of op.uptoken_func
       var getUpToken = function(file) {
           if (op.uptoken) {
               that.token = op.uptoken;
               return;
           } else if (op.uptoken_url) {
               logger.debug("get uptoken from: ", that.uptoken_url);
               // TODO: use mOxie
               var ajax = that.createAjax();
               ajax.open('GET', that.uptoken_url, false);
               ajax.setRequestHeader("If-Modified-Since", "0");
               // ajax.onreadystatechange = function() {
               //     if (ajax.readyState === 4 && ajax.status === 200) {
               //         var res = that.parseJSON(ajax.responseText);
               //         that.token = res.uptoken;
               //     }
               // };
               ajax.send();
               if (ajax.status === 200) {
                   var res = that.parseJSON(ajax.responseText);
                   that.token = res.uptoken;
                   logger.debug("get new uptoken: ", res.uptoken);
               } else {
                   logger.error("get uptoken error: ", ajax.responseText);
               }
               return;
           } else if (op.uptoken_func) {
               logger.debug("get uptoken from uptoken_func");
               that.token = op.uptoken_func(file);
               logger.debug("get new uptoken: ", that.token);
               return;
           } else {
               logger.error("one of [uptoken, uptoken_url, uptoken_func] settings in options is required!");
           }
       };

通過npm安裝

npm install qiniu-js

在專案中使用import引入

import 'qiniu-js/dist/qiniu.min.js';

HTML

<div id="container">
    <div id="pickfiles">上傳按鈕</div>
</div>

JavaScript

 var uploader = Qiniu.uploader({
     runtimes: 'html5,flash,html4',      // 上傳模式，依次退化(照著官網來就是了)
     browse_button: 'pickfiles',         // 上傳選擇的點選按鈕，必需(記得定義id並且保持一致)
     // 在初始化時，uptoken，uptoken_url，uptoken_func三個引數中必須有一個被設定
     // 切如果提供了多個，其優先順序為uptoken > uptoken_url > uptoken_func
     // 其中uptoken是直接提供上傳憑證，uptoken_url是提供了獲取上傳憑證的地址，如果需要客製化獲取uptoken的過程則可以設定uptoken_func
     uptoken : '<Your upload token>', // uptoken是上傳憑證，由其他程式生成
     uptoken_url: '/uptoken',         // Ajax請求uptoken的Url，強烈建議設定（伺服器端提供）
     uptoken_func: function(){        // 在需要獲取uptoken時，該方法會被呼叫
        // do something(一般是傳送手動傳送ajax獲取到token，如果後端返回格式不跟官方一致又不想該懂原始碼可以通過這個方式調整)
        return uptoken;
     },
     get_new_uptoken: false,             // 設定上傳檔案的時候是否每次都重新獲取新的uptoken(沒有特殊需求一般為false)
     // downtoken_url: '/downtoken',(未使用到，可以不設定)
     // Ajax請求downToken的Url，私有空間時使用，JS-SDK將向該地址POST檔案的key和domain，伺服器端返回的JSON必須包含url欄位，url值為該檔案的下載地址
     // unique_names: true,              // 預設false，key為檔名。若開啟該選項，JS-SDK會為每個檔案自動生成key（檔名）
     // save_key: true,                  // 預設false。若在伺服器端生成uptoken的上傳策略中指定了sava_key，則開啟，SDK在前端將不對key進行任何處理
     domain: '<Your bucket domain>',     // bucket域名，下載資源時用到，必需(找後端拿)
     container: 'container',             // 上傳區域DOM ID，預設是browser_button的父元素(如果不實現拖拽上傳可以不設定)
     max_file_size: '100mb',             // 最大檔案體積限制(可以調大)
     flash_swf_url: 'path/of/plupload/Moxie.swf',  //引入flash，相對路徑(如果沒用到flash上傳的話可以不設定,一般支援html5上傳的瀏覽器都不會用到它)
     max_retries: 3,                     // 上傳失敗最大重試次數(自動幫你續傳分片)
     dragdrop: true,                     // 開啟可拖曳上傳(如果不實現拖拽上傳可以不設定)
     drop_element: 'container',          // 拖曳上傳區域元素的ID，拖曳檔案或資料夾後可觸發上傳(如果不實現拖拽上傳可以不設定)
     chunk_size: '4mb',                  // 分塊上傳時，每塊的體積
     auto_start: true,                   // 選擇檔案後自動上傳，若關閉需要自己繫結事件觸發上傳
     //x_vars : {                        // (未使用到，可以不設定)
     //    檢視自定義變數
     //    'time' : function(up,file) {
     //        var time = (new Date()).getTime();
               // do something with 'time'
     //        return time;
     //    },
     //    'size' : function(up,file) {
     //        var size = file.size;
               // do something with 'size'
     //        return size;
     //    }
     //},
     init: {
         'FilesAdded': function(up, files) {
             plupload.each(files, function(file) {
                 // 檔案新增進佇列後，處理相關的事情
             });
         },
         'BeforeUpload': function(up, file) {
                // 每個檔案上傳前，處理相關的事情
                // (上傳檔案前做一些處理)
         },
         'UploadProgress': function(up, file) {
                // 每個檔案上傳時，處理相關的事情
                // (可以設定進度條資訊)
         },
         'FileUploaded': function(up, file, info) {
                // 每個檔案上傳成功後，處理相關的事情
                // 其中info是檔案上傳成功後，伺服器端返回的json，形式如：
                // {
                //    "hash": "Fh8xVqod2MQ1mocfI4S4KpRL6D98",
                //    "key": "gogopher.jpg"
                //  }
                // 檢視簡單反饋
                // var domain = up.getOption('domain');
                // var res = parseJSON(info);
                // var sourceLink = domain +"/"+ res.key; 獲取上傳成功後的檔案的Url
         },
         'Error': function(up, err, errTip) {
                //上傳出錯時，處理相關的事情
         },
         'UploadComplete': function() {
                //佇列檔案處理完畢後，處理相關的事情
         },
         'Key': function(up, file) {
             // 若想在前端對每個檔案的key進行個性化處理，可以設定該函數
             // 該設定必須要在unique_names: false，save_key: false時才生效
 
             var key = "";
             // do something with key here
             // (可以自定義key不設定預設是檔名)
             return key
         }
     }
 });
 
 // domain為七牛空間對應的域名，選擇某個空間後，可通過 空間設定->基本設定->域名設定 檢視獲取
 
 // uploader為一個plupload物件，繼承了所有plupload的方法

總結

由於本次專案中只涉及到大檔案上傳，沒有影象處理等相關的api使用經驗官方的案例就不多講了。總結起來七牛雲上傳的套路就是後臺為你提供uptoken或者獲取uptoken的介面地址之後上傳的時候要帶上這個token。返回的欄位最好是按照官方的格式來，如果不是的話也可以修改原始碼或者在uptoken_func中手動獲取，另外如果要修改上傳的伺服器也是要在qiniu.js中修改

    /**
    * qiniu upload urls
    * 'qiniuUploadUrls' is used to change target when current url is not avaliable
    * @type {Array}
    */
   var qiniuUploadUrls = [
       // "http://upload.qiniu.com",
       // "http://up.qiniu.com",
       "修改成你需要的地址",
   ];

如果使用表單上傳的話可以不參照任何外掛,程式碼實現如下：

    <form id="testform" method="post" enctype="multipart/form-data">
            <input name="key" id="key" type="hidden" value="">
            <input name="token" type="hidden" id="token" value="">
            <input id="userfile" name="file" type="file" />
 
            <!-- take photo with phone -->
            <!-- <input id="userfile" name="file" accept="image/*" type="file" /> -->
 
            <!-- take video with phone -->
            <!-- <input id="userfile" name="file" type="file" accept="video/*"/> -->
 
            <input name="accept" type="hidden" />
        </form>

JS:

    upload() {
        const formdata = new FormData(document.getElementById('testform'));
        $.ajax({
            url: '上傳的七牛雲伺服器,後端提供', // 'http://up.qiniu.com'
            method: 'post',
            success: function(data) {
                console.log(data);
            },
        })
        ...
    }

需要注意的是，每個input都需要定義好那麼屬性，並且token不能為空，需要提前通過ajax去後端獲取或者使用後端給定的token否則上傳會失敗～

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援it145.com。