首頁 > 硬體

硬碟大漲價?CG動畫渲染師:雲端儲存更香了

2021-05-14 08:12:53

挖礦的現在連硬碟都不放過了。

一塊大容量硬碟漲價超過了100%,做視訊的朋友現在是叫苦不迭。

u1s1(有一說一),雲端儲存現在好像有點價效比那意思了。

這時候一定又有人說,雲端儲存的讀寫速度拿來剪視訊,真的不是開玩笑嗎?

以前不一定,現在沒準還真的可以。

我發四,這是我一動畫渲染師朋友告訴我的。

“雲渲染”是一種什麼體驗?

所謂渲染,作為模型到動畫的一個關鍵步驟,需要大量算力來計算。

有這樣一組資料。

CG動畫經典《阿麗塔:戰鬥天使》,就需要600天、30000臺伺服器全天不停歇的渲染,才製成了這部122分鐘的電影。

一個傳統的渲染廠商,首先你得自建一個機房,也就是所謂的“渲染農場”。

大一點的,有5000-10000臺伺服器不等。中小規模也要到1000臺這一數量上。針對一個企業來說,一次性投入十分龐大,動輒上千萬。

採購之後,電費、運維成本也都無法忽視。因此有的廠商,選擇在廣西、新疆等這些電費上有補貼政策的區域來運轉。以及伺服器的機型,也會定期迭代淘汰。

除了成本高昂以外,渲染本身還有一定的規律性。年期以及年初的時候是市場淡季,但在節假日那段時間,需求就會爆發性增長。

這時候企業無法應對如此大的需求,客戶也只能排隊……

如今這兩大痛點,在雲上就可以得到解決——雲化部署+高效能檔案儲存。

我朋友這家企業——秦渲雲就採用了騰訊雲turbo(高效能檔案儲存)的方法來實現。

雲化部署,就可以讓算力得到高效、彈性的使用。

需要多少,就用多少,減少了資源的浪費。與此同時,還具備快速上線的功能。

傳統廠房通常會有一個熱身時間,靠人上去部署,現在在雲上就可以完成,運維管理效率提升50%。

高效能檔案儲存,海量並行、低延時、以及大吞吐量的特點。

以吞吐量為例,騰訊雲Turbo檔案儲存可以提供百GB/s的吞吐量,結合動態擴充套件的計算資源,實現隨用隨取,在實際的渲染場景下,渲染效率提升30%。

大概是這樣一個場景:

客戶在平臺上發任務,將原生的檔案上傳到平臺上,企業根據客戶的不同場景需求,在雲上選擇不同機型。

對於企業來說,成本就是一個很大的優勢。

機器渲染的成本是非常高的,一般來講,一百臺伺服器,他渲染一部電影需要一個月的時間。通過雲渲染提供資源可以提供一千臺伺服器,時間會縮短到十分之一。

講到這裡,似乎還不能證明雲端儲存就是新的生產力工具。

彆著急,來康康騰訊雲的三個新產品。

雲端儲存,新的生產力工具

說到雲端儲存,很多人第一反應就是速度慢。至少雲端儲存和本地儲存是很難無縫銜接的。

如果我把本地資源都上傳到網上,那麼雲端儲存能滿足我的要求嗎?資料傳輸延時和讀寫速度能達到多少?

騰訊雲的極速型雲硬碟打消了使用者的顧慮。

經過對資料儲存鏈路上各項技術的優化,實現了時延的行業突破。資料顯示,騰訊雲極速型雲硬碟時延僅有40微秒,是行業首款實現10微秒級時延的雲硬碟產品。

另外,騰訊雲全新發布的最新一代檔案儲存 Turbo系列,在業內首次實現了實現了百GB級吞吐的產品化,最高效能可以做到千萬級IOPS和微秒級的時延,高效能業務讀寫效率提升10倍,達到業內最高水平。

這樣的效能表現,不僅可以滿足雲端剪片子這種負載,甚至在巨量資料分析、AI訓練與推理這類高負載應用中,也能更好地發揮出儲存效能優勢。

甚至在資料庫場景中,騰訊雲的極速雲硬碟相比本地NVMe SSD還能提升1.3倍。

針對當前資料湖技術演進趨勢,騰訊雲推出了業界首個基於物件儲存的三級加速器,包括資料湖加速器GooseFS、後設資料加速器和AZ加速器。

其中,資料湖加速器GooseFS可以提升10倍的資料IO效能,後設資料加速器則能夠為巨量資料業務提供高達10W QPS的後設資料操作能力,AZ加速器可以為巨量資料業務提供Tb級別的頻寬和毫秒級的延遲。

從QQ空間到儲存生態

看起來,確實是有點香。

實際上,這三個產品,恰好代表了騰訊雲端儲存在雲硬碟、物件儲存、檔案儲存上的三大核心競爭力:

高可靠、低成本、高效能。

涵蓋巨量資料分析、HPC高效能運算、內容分發、AI訓練與推理、視訊渲染在內的十類方案。

目前,騰訊雲端儲存規模已突破10EB,檔案數突破20萬億,服務的客戶超過180萬家。

今年,正好是騰訊雲端儲存的第十年。

十年之際,他們提出了全新的發展思路——三維生態戰略。

哪三維?

技術生態、開源生態、商業生態。

從這三個維度出發,聯合上下游的合作伙伴,為各行各業數位化轉型加速。

拆開來看,技術生態方面,騰訊雲聯合技術夥伴,朝著軟硬體相結合的方向深耕。

比如,聯合Intel打造極速型雲盤方案,在時延、IOPS等關鍵指標上實現行業第一。

開源,也是騰訊雲看中的生態建設之路。

騰訊雲積極連線開源應用、業界主流開源軟體,如Spark、Presto、Tensorflow、Hive、Flink等巨量資料分析引擎、開源計算框架和元件,為客戶提供基於開源理念的開放型資料儲存方案。

商業生態就不必說了,也就是充分利用騰訊自身的商業價值優勢。

如此看重生態的價值,但不為大多數人所知的是,當年騰訊雲端儲存的起點,是在自身業務場景——

QQ空間。

當時大量使用者湧入QQ空間,上傳海量的照片、檔案,這給騰訊的儲存帶來了很大的考驗。若不及時解決,造成的直接後果就是,開啟速度越來越慢、使用者體驗也就越來越差。

爆款產品,就將不再“爆款”。

為了應對QQ空間雲相簿的海量資料儲存,儲存技術團隊就此成立,一年之後自研了一套底層的儲存引擎TFS。

此後,包括整個QQ、騰訊視訊,都落入到TFS中去。2010年,騰訊開放平臺接入首批應用。

2012年,隨著騰訊在儲存系統的不斷成熟,以及外部的雲端計算趨勢,騰訊雲端儲存業務開始面向外部開放。

2015年,儲存規模突破EB級。

2019年,整個儲存引擎進行一次大升級,新一代自研百EB級物件儲存專用引擎YottaStore上線,同年客戶數突破了100萬。

2020年,雲硬碟IOPS業界首個突破110萬。

十年後的騰訊雲,已經跟生態裡的合作伙伴保持著密不可分的關係。

比如,結合金山的檔案優勢,面向線上協同辦公業務系統,打造了線上實時檔案預覽方案;

與IBM共同打造了面向資料湖、自動駕駛、機器學習、基因計算等高效能運算業務系統,提供了一體化高效能並行儲存方案。

騰訊雲端儲存的產品矩陣

除了生態,數位經濟時代下的儲存,還要關注效能與安全。

隨著各個企業數位化轉型的提速,資料呈現出爆發式增長,並正在成為企業的核心資產,企業的儲存基礎設施面臨著“翻天覆地”的變化。

而這種挑戰,也同樣對映到像騰訊雲這樣儲存產品供應商身上。

如何在面對保證效能不但提升的同時,持續降低成本,提升服務質量,滿足各行各業的需求;還能確保資料的安全性。

效能方面,騰訊雲端儲存的產品矩陣就是答案。

騰訊雲端儲存產品副總經理馬文霜,就舉了這次釋出塊儲存的例子。

“塊”的兩個新品,其實是豐富了我們產品的矩陣,一個新品是強調效能,另外一個新品是強調的是一個價效比,從一個整體來看,就是效能和價效比更高。

很多入門級的使用者,吞吐型雲盤,對在意成本的中小客戶的話,其實是有比較大的幫助。

一個合作伙伴上海電氣風電,正是基於騰訊雲新一代檔案儲存產品Turbo系列,其風力發電模擬計算系統計算速度相比以往提升2倍,TCO(總擁有成本)也降低了40%。

上海電氣風電系統與網路副主任黃海表示,方案同時實現更高的效率和更低的價格,正是電氣風電選擇騰訊雲端儲存的最重要原因。

而在安全方面,騰訊雲也做了不少功課,以自身設計+合作的方式來保障資料安全。

騰訊雲端儲存產品副總經理陳崢就談到了很多細節。

比如,使用者上傳的時候,加密也支援像KMS的加密,使用者端和伺服器端的加密,保證客戶的資料是脫敏的,傳到客戶上來。

分散式儲存體系裡會去做一些分塊和分片,儲存在不同的伺服器上。

還有一些針對伺服器的舉措,過保之後磁碟壞掉也會做一個消磁。

另外,就是跟合作伙伴鼎甲,打造了一體化混合雲備份方案,在使用者安全方面提高到了更高等級。

騰訊雲副總裁劉穎表示,安全可靠、效能、成本仍然會是儲存產品的基石,這也將是騰訊雲端儲存始終精進的技術方向。

其實,不只是騰訊雲,也是更多雲端儲存服務商需要一以貫之的技術理念,未來也正如騰訊雲的願景一樣:向著無縫上雲、智慧化、場景化三個方向發展。

雲端儲存,已經在以生產力工具的姿態,穿梭於各行各業之間。


IT145.com E-mail:sddin#qq.com