伺服器對巨量資料的作用和影響

伴隨著智慧手機、視訊、社群網路、微博、問問通等新型溝通工具源源不斷地產生海量的非結構性資料，企業不得不面對巨量資料爆炸帶來的難題。據IDC預測，未來十年全球巨量資料將增加50倍。而僅在2011年，全球就產生了1.8ZB(也即1.8萬億GB)的巨量資料。毫無疑問，巨量資料將挑戰企業的儲存架構及資料中心基礎設施等，也會引發雲端計算、資料倉儲、資料探勘、商業智慧等應用的連鎖反應。

操作方法

• 01

  1.巨量資料引發三重挑戰
  具體到企業而言，其面臨的最直接的挑戰就是企業的基礎架構是否適應巨量資料管理和分析的需要，尤其是一旦要從巨量資料中查詢或者分析出有價值的資訊，那巨量資料的處理效率就成為了關鍵。而即使是傳統的結構化資料，其對處理速度的要求也越來越高。以銀行業為例，伴隨著銀行網點、ATM機的多點佈局，再加上越來越多的新興業務轉移到網際網路上，使得銀行不得不面對無時無刻無處不在的資料處理響應需求。
  影響資料處理速度的因素很多，歸結起來主要有計算、儲存和網路三大方面的因素。計算依靠伺服器來實現，其CPU的主頻、記憶體的容量和I/O頻寬，都會影響到運算速度。尤其是伺服器整體表現出來的效能，將會是影響巨量資料處理的關鍵因素。此外，有些企業喜歡採用x86叢集或者分散式計算來對巨量資料進行處理，但是各個計算節點間的呼叫和處理器使用效率，亦成為影響資料處理快慢的因素。

  
• 02

  2.大型資料庫開啟效率之旅
  這些資料庫通常包含與其它資料庫相重複的資料。一個資料庫一般不會將另一個資料庫作為資料來源。這樣就會消耗額外的磁碟儲存，增加重複資料遷移所需要的網路頻寬，也會因從多個資料儲存獲取相同資料的需要而額外增加伺服器CPU處理的負荷。
  同時，假如企業擁有多個資料庫的話，那麼他們通常會將它們部署在不同的平臺上，針對不同的硬體平臺採用不同的維護方法。這樣需要維護不同品牌和模型的伺服器數量越多，成本就越高。如果是關鍵任務伺服器，那麼提供冗餘性的硬體就會重複，這也會增加額外的成本。
  此外，企業還不得不面對運營效率低下的問題。假如在多個伺服器上執行多個資料庫系統，那麼有一些運營成本需要考慮，包括培訓多個系統的人員、監控多個系統、修復多個平臺的問問通故障、修補和更新多個系統。而在統一的作業系統和硬體平臺上執行一個系統會更簡單一些，成本也更低。另外，監控和故障修復也更加簡單。

  
• 03

  3.記憶體計算化繁為簡
  值得一提的是，近年來許多資料庫廠商大力發展的記憶體計算技術，同樣對資料處理速度的提升起到了很大的作用。
  記憶體計算的主要用途之一是龐大的資料集的實時操作。在傳統的資料庫中，資料存在硬碟上。資料和伺服器的CPU，通過有線連線，所以資料要到達的「桌面」是緩慢和遙遠的，當需要十億位元組或者艾位元組的資料時，資料庫效能緩慢的主要原因之一是資料存取的時間過長，不能以足夠快的速度到達所需要的地方。
  在記憶體計算中，資料就儲存在CPU的旁邊，可以瞬間到達。這意味著數百GB的資料分析，報告和預測需要幾秒鐘內就可以完成，而不是幾小時。

  
• 04

  4. 行業掘金效能為王
  大型資料庫和記憶體計算分別在應用模式和技術上為提升巨量資料的處理效率作好了準備，但無論是大型資料庫還是記憶體計算，都需要伺服器主機具有強大的計算能力、大容量的記憶體和足夠的儲存空間，並且將這三者集於一身。而歸根結底，就是伺服器主機必須具備強大的效能，才能滿足高效處理巨量資料的需要。
  結合電信、金融等行業的應用發展，伴隨著這些行業的資料向省級集中，更大容量的資料庫和更高效能的伺服器主機，成為應對大規模使用者集中存取資料的基礎。
  以電信行業為例，電信核心業務平臺不僅包含了計費、網管、營業、財務以及外部CRM和其它系統的問問通，而且還需要在此基礎上完成資料的抽取、清洗和轉換，從而在資料倉儲的基礎上建立商業智慧平臺，為客戶管理管理系統、決策支援系統等系統提供支撐。所有這一切要求核心業務平臺必須有一個強大的基礎設施平臺作為支撐，確保電信的所有業務系統都能夠在一個安全、穩定、高效的環境下順暢執行。
  在銀行業，資料大集中早在多年前就已經開始實施了。然而，由於銀行業利用IT基礎設施服業務發展起步較早，這也造成了部分核心業務系統版本多、需要不同開放和升級的弊端。中國銀行作為領先的大型商業銀行，早就意識到了這些問題。2011年10月，中國銀行核心業務系統全轄上線，為2006年正式啟動的IT藍圖實施工程畫上圓滿句號。

  
• End