新聞中心
聯系我們
Contact us
Contact us
- 總部電話010-51727811
- 客服熱線400 779 6696
- 更多聯系信息
塊和文件之外的對象存儲介紹
時間:2013-01-07 09:32 來源:飛客數據恢復 作者:飛客數據恢復工程師
塊是存儲的基礎架構,對塊的管理是簡單的。從全球第一個磁盤存儲技術50年前誕生到現在,塊的技術沒有發生太大變化。磁盤工業生產遍及全球。最近幾年,存儲行業興起存儲虛擬化和數據整合的新概念,在這些概念和方案中,數據還是以塊的形式通過網絡進行讀寫操作。
塊形式的存儲在滿足數據可擴展性和數據安全性的增長方面,日益顯現出其局限性和不足。國際上主要有兩類網絡化存儲架構,它們是通過命令集來區分的。第一類是SAN(Storage Area Network)結構,它采用SCSI 塊I/O的命令集,通過在磁盤或FC(Fiber Channel)級的數據訪問提供高性能的隨機I/O和數據吞吐率,它具有高帶寬、低延遲的優勢,在高性能計算中占有一席之地,但是由于SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。第二類是NAS(Network Attached Storage)結構,它采用NFS或CIFS命令集訪問數據,以文件為傳輸協議,通過TCP/IP實現網絡化存儲,可擴展性好、價格便宜、用戶易管理,如目前在集群計算中應用較多的NFS文件系統,但由于NAS的協議開銷高、帶寬低、延遲大,不利于在高性能集群中應用。
針對Linux集群對存儲系統高性能和數據共享的需求,國際上已開始研究全新的存儲架構和新型文件系統,希望能有效結合SAN和NAS系統的優點,支持直接訪問磁盤以提高性能,通過共享的文件和元數據以簡化管理,目前對象存儲系統已成為Linux集群系統高性能存儲系統的研究熱點,如Panasas公司的Object Base Storage Cluster System系統和Cluster File Systems公司的Lustre等。
基于對象的存儲
在2004年推出了基于對象的存儲設備(OSD)的1.0版本規范。它定義了基于對象的存儲設備的通訊協議。OSD規范描述了一個 SCSI 命令集合,由他提供一個高水平的OSD接口。這個接口允許客戶端, 比如文件系統和數據庫存放和索引數據。 SNIA’S 技術工作組當前正在開發OSD 規范的2.0版本,這個版本年內完成。
一個OSD設備存放對象,他控制著從對象到物理介質的映射圖。設備同時也跟蹤作為屬性的元數據,例如建立時間標記,從而允許在客戶端非常容易地共享數據。
可以說,OSD最大的賣點在于它結合了SAN的可擴展性和NAS的數據共享。早期的NAS架構的擴展性能并不好,因為所有的元數據的處理都集中在NAS服務器上。在有限的NAS頭下擴張更多的存儲受到限制,而且這個時候,NAS上的元數據處理變成了瓶頸。如果想擴展,就需要增加更多的NAS服務器,但是此時的管理成為頭疼的事情,因為數據是分散的, 這就是我們常說到的“NAS 孤島”。
OSD的能力在于它將客戶端和OSD設備直接聯系起來,并不需要中間環節管理元數據。Panasas 公司,全球第一家提供商用OSD產品的公司,同時提供面向對象的存儲和并行文件系統。Panasas 公司的 DirectFLOW 的設計,客戶端從帶外管理的控制刀片得到目標的分布和安全屬性。所有的數據流都直接從OSD存儲刀片到客戶端。盡管商用的OSD產品還只是鳳毛麟角,但是OSD技術還是在日新月異。希捷和IBM已經展示了OSD產品。HP已經和開放源代碼廠家Lustre文件系統合作,使用OSD作為他的StorageWork 可擴展文件系統的重要部分。
對于對象存儲來講,不光是解決了數據存儲的問題,同時它還解決了數據安全性的問題。存儲通常已經依賴于客戶端和私有網絡的認證來保護系統的安全性,不管在文件服務器內用的是FC SAN或SCSI陣列。對象存儲體系結構在每一個級別上都提供了安全性:存儲系統對存儲設備的認證;存儲系統對計算節點的認證;存儲系統對計算節點命令的認證;所有命令都經CRC的完整性檢查;數據和命令經由IP的私有性。這樣的安全水平能給用戶以信心,他們可以用更經濟高效,可管理并容易訪問的網絡,如以太網,作為存儲的傳輸工具,同時還提高了整個存儲體系的安全性。
高性能計算領域
對象存儲體系結構提供了一個帶有NAS系統的傳統的文件共享和管理特征的單系統映象(single-system-image)文件系統,并改進了SAN的資源整合和可擴展的性能。這種性能,可擴展性,可管理性以及安全性的結合,只能通過在存儲體系結構上的重大革命才能被完成。第一個支持對象體系結構的產品現在已經問世,它就是Panasas ActiveScale Storage Cluser (存儲集群)。此產品已經被部署在國家實驗室,地震資料處理機構,以及生物技術組織,它們都在用Linux集群去解決關鍵的科學問題,這些問題在過去是用巨型超級計算機也不能解決的。它們都期盼能解決需要高性能,可擴展的共享存儲才能解決的新問題,這種存儲在Panasas的存儲體系之前,在市場上是沒有的。Panasas存儲集群及基于對象的存儲體系結構已經展示了,它們能迎接由Beowolf/Linux集群計算體系結構提出的挑戰,在那里,傳統的基于SAN和DAS的產品都會敗下陣來。Panasas 在美國能源部(U.S.Department of Energy:DOE)、Lawrence Livermore 國家實驗室,Los Alamos國家實驗室,Sandia 國家實驗室,Pacific Northwest國家實驗室的高性能計算系統中已得到了初步的應用。在全球范圍內,Panasas 對象存儲集群系統的性能在企業級HPC集群的關鍵應用中得以淋漓體現和發揮。OSD將來會從HPC存儲過渡成主流的企業級存儲嗎?我們拭目以待。試想,當年SUN公司的NFS不就是從最早的技術環境走到主流商業應用的最前線的嗎?
對象存儲成為主流
無論OSD是從HPC走到企業級應用中,或是通過其他方式,均面臨需要被企業級的用戶所接受這樣的事實。從傳統的存儲變成OSD 存儲,需要在多個層面上作改變,這包括,存儲設備,存儲網絡,文件系統和數據庫。
OSD 面臨著巨大的機遇。如Garth Gibson博士所講,大規模并行數據存儲的問題通過數據對象,和屬性可以得到解決。在這個時候,對象存儲的特性才得以發揮。而這些都是基于塊的存儲所不能解決的。
對象存儲可以以這種方式使用而與應用無關。 應用系統可以和以前使用文件導向的系統一樣使用,所有的工作通過文件系統實現對文件的存取。這個時候,應用直接存儲數據對象而不是向文件系統寫數據。
對象存儲自誕生的那一天起已經表現出其巨大的活力,它可以提供數據安全,容易的數據共享,強大的可擴展功能,完全具備走向企業級數據中心的能力。我們很高興地看到,對象存儲的國際標準已經制定,很多全球一線的存儲廠商和服務器廠家均加入到此陣營中。各個廠家的對象存儲產品已經或即將面世。但是,同時我們也看到,對象存儲全面取代傳統的塊存儲還需時日。