首頁 > 軟體

科技雲報道:率先邁入「10微秒」時代,騰訊雲端儲存跑出加速度

2021-05-18 11:01:31

科技雲報道原創。

海量資料時代,大容量、低成本、易擴容的雲端儲存無疑是大勢所趨。

在全球市場,以AWS、Azure等為代表的雲端計算廠商,正在超越傳統企業級儲存廠商,成為全球企業儲存市場數一數二的企業儲存供應商。

這一事實讓人們驚訝地發現,原來雲端儲存成為企業級市場事實標準的時代真的來臨了。

雲端儲存作為一項新興技術,在過去很長一段時間內,難免被拿來與傳統儲存進行對比。經過十幾年的技術演進和市場發展,雲端儲存不僅在成本上吊打傳統儲存,如今在傳統儲存引以為豪的效能方面也實現了超越,而這種技術性的突破率先來自騰訊雲。

近日,在騰訊雲端儲存產品戰略釋出會上,騰訊雲一口氣拋出了三個業界「第一」的雲端儲存新品:首個10微秒級極速型雲硬碟、首款突破百GB吞吐的檔案儲存、首個能夠10倍提升資料湖儲存分析效能的物件儲存三級加速器,直接將雲端儲存的效能標杆拉到了行業新高度。

騰訊雲是如何做到的?

率先邁入「10微秒」時代騰訊雲端儲存有多快

先來看看此次騰訊雲釋出的儲存新品,在企業級儲存市場是什麼水平?

在塊儲存產品上,騰訊雲極速型雲硬碟新品,時延僅有40微秒,是行業首款實現10微秒級時延的雲硬碟產品。

在此之前,一般企業級雲硬碟延遲在120微秒左右,而本地SSD延遲平均約為80微秒。

同時,在對時延很敏感的資料庫場景下,相對當前生產環境中時延最優的本地NVMe SSD硬碟效能,騰訊雲極速型雲硬碟能提升1.3倍。

除了超越本地SSD,騰訊雲還推出瞭解決傳統環境儲存上雲適配問題的吞吐型雲硬碟,吞吐效能達到250MB/s,使用者無需更改配置即可無縫複製資料上雲,其效能和成本足以替代HDD。

在檔案儲存產品上,騰訊雲最新一代檔案儲存Turbo系列,在行業首次實現了百GB級吞吐,而之前行業最高水平約為幾十GB吞吐。

Turbo可支撐數萬臺主機同時併發,將高效能業務讀寫效率提升10倍,千萬級IOPS和微秒級的時延也達到了業內最高水平。

這種單程序場景下的高吞吐和低延時能力,能夠很好地支撐海量資料的高速運算、高頻互動,因此騰訊雲檔案儲存Turbo特別適用於高效能運算、大資料分析、AI訓練與推理等場景。

同時,Turbo還具備擴容的能力,可以滿足未來雲上幾乎所有使用檔案儲存的業務對頻寬的需求。

在物件儲存產品上,騰訊雲創新推出了業界首個物件儲存三級加速器,包括:資料湖加速器 GooseFS、元資料加速器、AZ 加速器等產品能力等在內的一站式資料加速解決方案,加速湖儲存資料流轉。

其中,資料湖加速器GooseFS可以提升10倍的資料IO效能,元資料加速器能夠為大資料業務提供高達10W QPS的元資料操作能力,AZ加速器可以為大資料業務提供Tb級別的頻寬和毫秒級的延遲。

騰訊雲物件儲存加速器的推出,能夠很好地應對資料湖在大規模使用場景中對時延、吞吐效能、頻寬等方面的挑戰,優化後的儲存速度遠超主流的HDFS方案。

可以看到,在塊、檔案和物件三大核心儲存產品上,騰訊雲做到了儲存效能的一騎絕塵。

這意味著企業使用者不再需要被迫妥協將儲存留在自己的資料中心內,而是可以放心地將高效能的雲端儲存產品作為其IO密集型、時延敏感型應用的首選。

這對於如今網際網路業務快速擴張、資料量呈爆發式增長的企業而言,無疑是劃時代的福音。

十年蓄力騰訊雲釋放儲存勢能

俗話說「羅馬不是一天建成的」,騰訊雲之所以能夠領跑雲端儲存市場,與深厚的內功密不可分。

十年來,騰訊的儲存技術默默支撐了一個個「國民級」應用,如:QQ、QQ相簿、QQ空間、郵件、微雲、微信等內部業務走向繁榮。

2005年,騰訊QQ使用者正式突破1000萬,開啟了騰訊業務的海量時代,騰訊雲端儲存規模首次突破一個EB。

2006年,騰訊迎來了第一個巨大體量業務QQ空間,所有QQ使用者的相簿圖片都存放在騰訊雲端儲存裡。以此為契機,騰訊支撐起了QQ相簿、QQ空間、郵件、微雲等一系列產品的海量儲存需求。

2011年,微信上線。2014年的除夕夜,微信紅包搖一搖總次數達到110億次,峰值1400萬次/秒,朋友圈圖片分享量暴增。

騰訊儲存技術團隊對大型快取系統、延時通知等技術進行改進,攻克了海量資料儲存呼叫等突發問題。

2019年,騰訊雲自研的物件儲存專用引擎yotta上線,實現了超過百EB級別的儲存叢集控制。

作為底層儲存引擎,yotta讓騰訊雲端儲存的整體能力得到了很大的提升,更成為騰訊雲很多招牌產品的底座。

如今,微信使用者量已高達10億級,微信「看一看」、「微信廣告」、「微信支付」、「小程式」等業務,日常對資料庫讀寫的需求早已超過10億級,其背後正是騰訊雲強悍的儲存系統在支撐。

經過十年蓄力,騰訊雲整體儲存規模已經超過了十個EB,檔案數目超過了20萬億,服務的客戶數超過了180萬。

對於騰訊來說,無論是在十年前的消費網際網路時代,還是十年後的產業網際網路時代,儲存已經成為幾乎所有業務開展的基礎。

儘管騰訊雲端儲存已歷經了數十億使用者訪問高併發、規模海量、業務多樣化的考驗,但不同的時代對雲端儲存的訴求仍會有所不同。

隨著企業使用者對儲存效能和成本的要求越來越高,騰訊雲開始構思面向下一代的儲存系統,成為其不斷推陳出新的源動力,例如此次釋出的「物件儲存三級加速器」就是騰訊雲挑戰自我的創新之舉。

在資料爆炸的時代,如何低成本儲存資料,如何以高效能儲存獲取業務價值,是所有企業面臨的主要挑戰。

由於物件儲存價格便宜、擴容方便、計費靈活,已經成為各種業務作為異構儲存預設的選項,資料湖的概念也越來越多地被一些企業和開發者所接受。

不同於傳統資料湖只強調資料湖的儲存以及解耦資料的高效處理方式,騰訊雲推出的「物件儲存三級加速器」是一套「儲存+資料湖生態」方案,除了作為基礎儲存服務外,還提供資料湖加速,以便讓資料更快的流入計算引擎。

騰訊雲副總裁 劉穎

但值得注意的是,要實現資料湖加速並不容易,據騰訊雲副總裁劉穎介紹,技術上主要面臨三大挑戰:

一是,計算和儲存分離以後,帶來了延遲的增高,特別是在大資料計算的場景下;

二是,由於物件儲存的扁平化結果,對於檔案的支援類型不夠豐富,在模擬HDFS檔案目錄以及目錄操作上會產生效能損耗;

三是,計算和儲存分離是為了更快地處理更多資料,但往往需要特別大的頻寬,而物件儲存多AZ的部署方式,導致AZ之間的頻寬穿梭對網路造成了很大的挑戰。

為了解決上述問題,騰訊雲「物件儲存三級加速器」有針對性地推出了三款加速器:

資料湖加速器GooseFS分別在計算端,AZ端、儲存端提供加速能力;

AZ元加速器主要針對元資料操作的加速,以解決物件儲存模擬檔案系統的損耗;

AZ加速器在各個AZ部署快取記憶體叢集,為資料應用訪問COS物件儲存提供Tb級別頻寬資源和毫秒級的時延效能。

三級加速器,如同在資料應用和儲存系統之間建立了高速公路,將資料從COS物件儲存移動到距離資料應用更近的位置,使得資料的訪問速度有了數量級的提升。

在實際使用中,由於三級加速器打通了騰訊雲產品,串聯起了雲上的各類服務,因此企業使用者能通過這種一體化的方案,快速簡單地實現資料入湖、出湖及湖上處理。

不止於快騰訊雲的儲存野心

此次騰訊雲端儲存新品「三箭齊發」,給業界最大的感受莫過於「快」。但騰訊雲的野心並不止於此。

正如騰訊雲副總裁劉穎所說:「追求一個‘快’字,是為了讓使用者感知到極致的效能,但這只是資料儲存的一方面,怎麼能夠把資料用好,給使用者帶來價值和效率的提升,是我們始終追求的目標」。

劉穎表示,騰訊雲端儲存未來將聚焦無縫上雲、智慧化、場景化三個方向持續進化。

第一,從公有云場景拓展至私有云、混合雲、雲原生等場景,以更豐富的儲存產品形態和工具幫助使用者無縫遷移上雲;

第二,提供更智慧化的儲存服務方式,降低使用者的使用成本和運維成本,如通過智慧分層幫助使用者實現冷熱資料的動態切換從而降低成本,以及根據資料訪問場景智慧匹配負載讓使用者無需關注效能指標等;

第三,從資料價值維度提供更場景化的方案,例如:在自動駕駛、音視訊、基因測序、大資料日誌等多樣化的場景下,讓使用者在存好資料的基礎上更好地用好資料。

不難發現,「快」只是騰訊雲端儲存的外在標籤,其核心仍著眼於為使用者帶來實際的業務價值提升。這也是為什麼此次騰訊雲同步釋出「三維生態戰略」的原因。

所謂「三維生態」,指的是圍繞技術、開源、商業三大維度,持續深耕雲端儲存生態發展,攜手合作夥伴打造更高可靠、更高效能的雲端儲存服務,其目標在於「通過生態協同的思路,幫助使用者啟用資料成就商業價值,為生態夥伴合作分享商業共贏,為各行各業數字化轉型加速」,具體而言:

在技術生態方面,騰訊雲將充分協同儲存技術合作夥伴,構築技術底座。比如騰訊雲聯合Intel打造極速型雲盤方案,在時延、IOPS等關鍵指標上實現行業第一。

在開源生態層面,騰訊雲將積極連線開源應用,促進開放協同,為使用者提供基於開源理念的開放型資料儲存方案。

在商業生態層面,騰訊雲將聯合國內外最優秀的合作伙伴,打造面向業務系統優化設計的一體化聯合方案。

目前,騰訊雲與IBM共同打造了面向資料湖、自動駕駛、機器學習、基因計算等高效能運算業務系統,提供一體化高效能並行儲存方案;

面向線上協同辦公業務系統,騰訊雲聯合金山辦公打造線上實時文件預覽方案;面向資料備份恢復業務系統,騰訊雲聯合鼎甲打造一體化混合雲備份方案。

這種廣交「朋友圈」的開放態度,不僅讓騰訊雲和合作伙伴實現了商業價值的「雙贏」,更實現了企業客戶買單的「三贏」。

在騰訊雲端儲存產品戰略釋出會上,上海電氣系統與網路副主任黃海表示,在上海電氣風電集團(以下簡稱「電氣風電」)數字化轉型的過程中,對於風力發電模擬計算產生的極大量資料,儲存始終是繞不過的一個瓶頸點,而傳統的基於IDC機房自建裝置,已無法滿足電氣風電在成本和運算效率上的雙重要求。

基於騰訊雲新一代檔案儲存產品Turbo系列,電氣風電的風力發電模擬計算系統實現熱資料全共享,避免多次拷貝,計算速度相比以往提升2倍的同時,TCO(總擁有成本)也降低了40%,很好地應對了電氣風電高效應對風力發電場景的業務挑戰。

「我們使用騰訊雲主要的出發點還是以提高經濟效益為主,在接入騰訊雲之後,可以說我們的計算有了一個質的提升,這是我們數字化轉型中最大的一個亮點」,黃海表示。

上海電氣系統與網路副主任 黃海

與之類似的客戶案例不勝列舉。秦渲雲業務總監杜鵬表示,渲染業務雲化發展是大勢所趨,而其中能夠滿足海量併發、超大吞吐及極低延時的高效能儲存不可或缺。

基於騰訊雲新一代檔案儲存Turbo系列,秦渲雲在渲染場景下渲染效率提升30%,運維管理效率提升50%,TCO降低80%,實現了以更低的成本和更高的效率為使用者提供優質的雲渲染服務。

虎牙基礎保障部總經理毛茂德認為,基於騰訊雲端儲存,虎牙構建了更加先進的直播、大資料以及AI訓練業務,多項業務取得突破性的轉變,能力躋身行業前列,為虎牙全球線上直播業務提供了堅實支撐。

結語

在過去的幾年裡,5G、線上教育、自動駕駛、視訊直播等場景帶來的資料爆發增長,凸顯著更高的資料價值,如何利用好不斷增長的資料是企業始終要面臨的挑戰。

雲端儲存作為資料儲存和高效利用的核心基礎平臺,穩定可靠、高效能、低成本將成為其必須具備的基礎能力。

正如騰訊雲副總裁劉穎所說:「安全可靠、效能、成本仍然會是儲存產品的基石,這也將是騰訊雲端儲存始終精進的技術方向。

」騰訊雲端儲存十年蓄力,不斷髮展創新,才在今天交出了這份振奮人心的答卷。

在未來,騰訊雲端儲存也必將「不止於快」,而是基於自身對於應用場景的深入理解,構建更豐富的儲存生態,持續為企業客戶賦能。

衝擊下一個里程碑,騰訊雲端儲存已在路上。

【關於科技雲報道】

專注於原創的企業級內容行家——科技雲報道。成立於2015年,是前沿企業級IT領域Top10媒體。獲工信部權威認可,可信雲、全球雲端計算大會官方指定傳播媒體之一。深入原創報道雲端計算、大資料、人工智慧、區塊鏈等領域。


IT145.com E-mail:sddin#qq.com