<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
Go實現檔案分片上傳
2022-07-25 22:02:32
Go語言在寫HTTP服務程式時，會經常用到檔案上傳和檔案下載，檔案上傳和檔案下載都可以用http包，預設的功能基本上夠用了。http包支援檔案下載的斷點續傳和進度顯示，檔案上傳貌似不支援斷點續傳，不知道是不是要web端來實現。
然後我自己配合web端實現了大檔案分片上傳，來完成斷點續傳和進度顯示的功能。
基本思想是，在web端將上傳的檔案進行分片處理，然後向伺服器端傳送上傳請求（UploadRequest）包括檔名，MD5，檔案大小，和檔案總片數。
然後開始一片一片的上傳（Upload）。如果暫停了或者斷網失敗了，就記錄當前上傳片的片數，下一次上傳，重發UploadRequest，chunkPos為續傳位置片數，然後從這個記錄的片數開始接著上傳（Upload）。在伺服器端，記錄首次請求的檔名，MD5，檔案大小，檔案總片數，然後開始接收每一片，將每一個片儲存為一個單獨的檔案，在接收完最後一個片時，將所有的分片份檔案進行合併。儲存為對應的檔名。最後再校驗MD5碼。
對於不同使用者的請求，將檔案上傳的資訊儲存到session中，當前檔案上傳暫停後，上傳其它檔案時，向session增加新檔案的資訊。暫停後，接著上傳最開始的檔案，則直接從session中取得該檔案的資訊，包括檔名，上傳到某一個片的資訊等。
伺服器端實現程式碼：
func UploadRequest(w http.ResponseWriter, r *http.Request) {
log.WithFields(log.Fields{
"HTTP": r.Method,
"FUNC": "UploadRequest",
}).Info("HTTP REQUEST")
header := w.Header()
header.Add("Content-Type", "application/json")
/* session authentication */
sess := session.GlobalSessions.SessionCheck(w, r)
if sess == nil {
log.Error("sess check error")
fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check error")
return
}
defer r.Body.Close()
con, _ := ioutil.ReadAll(r.Body) //獲取post的body資料
log.Info("UploadRequest json: ", string(con))
var uploadReq uploadRequest
err := json.Unmarshal([]byte(con), &uploadReq) /* 解析json字串資料到結構體中 */
if err != nil {
log.Error("json unmarshal error")
fmt.Fprintf(w, config.FmtStr, "2000", "error", "json unmarshal error")
return
}
switch uploadReq.Option {
case "reUploadFile":
{
sess.Set("currentFile", uploadReq)
err := os.Remove("./tmp/" + uploadReq.FileName + "/" + uploadReq.FileName + "_" + uploadReq.ChunkPos)
if err != nil {
log.Error(err)
}
fmt.Fprintf(w, config.FmtStr, "1000", "success", "reupload request success")
}
case "uploadFile":
{
err = os.Mkdir("./tmp/"+uploadReq.FileName, 0777)
if err != nil {
log.Info(err)
fmt.Fprintf(w, config.FmtStr, "3000", "error", "mkdir error")
} else {
log.Infof("create dir %s okrn", uploadReq.FileName)
}
// 檔案上傳資訊儲存，儲存到session中，用於分片續傳時使用
sess.Set(uploadReq.FileName, uploadReq)
sess.Set("currentFile", uploadReq)
fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload request success")
}
case "uploadCancel":
{
err = os.RemoveAll("./tmp/" + uploadReq.FileName)
if err != nil {
log.Fatal(err)
}
sess.Delete(uploadReq.FileName)
fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload file success")
return
}
default:
{
fmt.Fprintf(w, config.FmtStr, "2000", "error", "upload request option error")
}
}
}
/* 分片上傳功能實現 */
func Upload(w http.ResponseWriter, r *http.Request) {
log.WithFields(log.Fields{
"HTTP": r.Method,
"FUNC": "Upload",
}).Info("HTTP REQUEST")
header := w.Header()
header.Add("Content-Type", "application/json")
/* session authentication */
sess := globalSessions.SessionCheck(w, r) //session 檢查的介面封裝
if sess == nil {
log.Error("session check failed")
fmt.Fprintf(w, config.FmtStr, "3000", "error", "session check failed")
return
}
current_dir := sess.Get("current_dir")
log.Info("current dir: ", current_dir)
up_dir := sess.Get("up_dir")
log.Info("up_dir: ", up_dir)
// var current_dir string = "./river/test"
/* 表單上傳檔案 */
if r.Method == "GET" {
crutime := time.Now().Unix()
h := md5.New()
io.WriteString(h, strconv.FormatInt(crutime, 10))
token := fmt.Sprintf("%x", h.Sum(nil))
t, _ := template.ParseFiles("upload.gtpl")
t.Execute(w, token)
} else {
r.ParseMultipartForm(32 << 20)
file, _, err := r.FormFile("uploadfile")
if err != nil {
log.Error(err)
return
}
defer file.Close()
var uploadFileInfo uploadRequest
uploadFileInfo = sess.Get("currentFile").(uploadRequest)
// fmt.Fprintf(w, "%v", sess.Get("fileName"))
var fileName string = uploadFileInfo.FileName + "_" + uploadFileInfo.ChunkPos
/* 判斷上傳的檔案是否已經存在，可能發生同名的情況 */
log.Debug("fileName: ", fileName)
_, err = os.Stat("./tmp/" + uploadFileInfo.FileName + "/" + fileName)
var f *os.File
if err == nil {
fmt.Fprintf(w, config.FmtStr, "3000", "error", "file is exsited")
return
} else {
f, err = os.OpenFile("./tmp/"+uploadFileInfo.FileName+"/"+fileName, os.O_WRONLY|os.O_CREATE, 0666) // 此處假設當前目錄下已存在test目錄
}
defer f.Close()
if err != nil {
log.Error(err)
fmt.Fprintf(w, config.FmtStr, "3000", "error", "create file error")
return
}
io.Copy(f, file) //這裡進行大檔案copy會導致記憶體佔用過大。一段時候後會進行GC回收
log.Info("copy ok")
// 判斷是否單個檔案是否上傳完畢，上傳完畢則合併檔案到目標資料夾
if uploadFileInfo.ChunkPos == uploadFileInfo.ChunkNum {
f.Close()
_, err = os.Stat(current_dir.(string) + uploadFileInfo.FileName)
var fii *os.File
if err == nil {
// 如果已經存在這個檔案了，則在當前檔名後增加日期
time := time.Now().Format("2006-01-02_15-04-05")
log.Debug("Time: ", time)
var fileName []byte = []byte(current_dir.(string) + uploadFileInfo.FileName)
var fileNameFinal []byte = fileName
log.Debug("file_name: ", string(fileName))
var preFileName []byte
var sufFileName []byte
for i := len(fileName) - 1; i > 0; i-- {
if fileName[i] == '.' {
preFileName = fileName[:i] // 檔名字首 test
sufFileName = fileName[i:] // 檔名字尾 .txt
fileNameFinal = []byte(string(preFileName) + "_" + time + string(sufFileName))
log.Info("fileNameFile: ", fileNameFinal)
break
}
}
fii, err = os.OpenFile(string(fileNameFinal), os.O_WRONLY|os.O_CREATE, 0777) // 此處假設當前目錄下已存在test目錄
} else {
fii, err = os.OpenFile(current_dir.(string)+uploadFileInfo.FileName, os.O_CREATE|os.O_WRONLY|os.O_APPEND, os.ModePerm)
}
defer fii.Close()
if err != nil {
log.Error(err)
fmt.Fprintf(w, config.FmtStr, "3000", "error", "Open object file error")
return
}
index, _ := strconv.Atoi(uploadFileInfo.ChunkNum)
for i := 1; i <= index; i++ {
f11, err := os.OpenFile("./tmp/"+uploadFileInfo.FileName+"/"+uploadFileInfo.FileName+"_"+strconv.Itoa(int(i)), os.O_RDONLY, os.ModePerm)
if err != nil {
log.Error(err)
fmt.Fprintf(w, config.FmtStr, "3000", "error", "Open slice file error")
return
}
b, err := ioutil.ReadAll(f11)
if err != nil {
log.Error(err)
fmt.Fprintf(w, config.FmtStr, "3000", "error", "ioutil readall error")
return
}
fii.Write(b)
f11.Close()
}
err = os.RemoveAll("./tmp/" + uploadFileInfo.FileName)
if err != nil {
log.Error(err)
}
sess.Delete(uploadFileInfo.FileName)
fii.Close()
if uploadFileInfo.MD5 == FileMD5(fii.Name()) {
err := os.Remove(current_dir.(string) + fii.Name())
if err != nil {
log.Error(err)
}
fmt.Fprintf(w, config.FmtStr, "3000", "error", "upload file md5 error")
} else {
fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload one file all slice success")
}
return
}
chunkPos, err := strconv.Atoi(uploadFileInfo.ChunkPos)
if err != nil {
log.Error(err)
}
uploadFileInfo.ChunkPos = strconv.Itoa(chunkPos + 1)
sess.Set(uploadFileInfo.FileName, uploadFileInfo)
sess.Set("currentFile", uploadFileInfo)
fmt.Fprintf(w, config.FmtStr, "1000", "success", "upload file success")
}
}
func FileMD5(file string) string {
f, err := os.Open(file)
defer f.Close()
if err != nil {
log.Info(err)
return ""
} buffer, _ := ioutil.ReadAll(f)
data := buffer
has := md5.Sum(data)
md5str := fmt.Sprintf("%x", has)
return md5str
}以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援it145.com。
相關文章
-
黑科技的輕簡出行，告別「電量焦慮症」：Anker氮化鎵超能充系列
综合看Anker超能充系列的性价比很高，并且与不仅和iPhone12/苹果<em>Mac</em>Book很配，而且适合多设备充电需求的日常使用或差旅场景，不管是安卓还是Switch同样也能用得上它，希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
-
吳亦凡廠牌首秀，L4WUDU居然忘詞了，Rapper和明星比還是有差距！
除了L4WUDU与吴亦凡已经多次共事，成为了明面上的厂牌成员，吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节，这也是20XXCLUB首次全员合照，王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
-
IPFS、Chia、Bzz和ICP挖礦該怎麼選？哪一個更有優勢？
目前应用IPFS的机构：1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆，历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
-
有哪些事是買了雪佛蘭後才知道的？美事偷著樂，開拓者車主隨聊
开拓者的车机是兼容苹果和<em>安卓</em>，虽然我不怎么用，但确实兼顾了我家人的很多需求：副驾的门板还配有解锁开关，有的时候老婆开车，下车的时候偶尔会忘记解锁，我在副驾驶可以自己开门：第二排设计很好，不仅配置了一个很大的
2021-06-01 09:30:48
-
iPhone12在618最新定價，跌價幅度超過1400元，還等iPhone13嗎？
不仅是<em>安卓</em>手机，苹果手机的降价力度也是前所未有了，iPhone12也“跳水价”了，发布价是6799元，如今已经跌至5308元，降价幅度超过1400元，最新定价确认了。iPhone12是苹果首款5G手机，同时也是全球首款5nm芯片的智能机，它
2021-06-01 09:30:45