集群NAS技術架構

轉自:http://blog.csdn.net/liuaigui/article/details/6422700
1 什麽是集群NAS?
集群(Cluster)是由多個節點構成的一種松散耦合的計算節點集合,協同起來對外提供服務。集群主要分爲高效能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和負載均衡集群LBC(Load Balancing Cluster)。集群NAS是指協同多個節點(即通常所稱的NAS機頭)提供高效能、高可用或高負載均衡的NAS(NFS/CIFS)服務。

非結構化數據目前呈現快速增長趨勢,IDC研究報告分析指出,到2012年非結構化數據將占到數據存儲總量的80%以上。集群NAS是一種橫向擴展(Scale-out)存儲架構,具有容量和效能線性擴展的優勢,已經得到全球市場的認可。從EMC對ISILON、HP對IBRIX、DELL對Exanet等收購事件,以及IBM推出SONAS、NetApp發布Data ONTAP 8,都可以看出集群NAS已經成爲主流存儲技術之一。在國內,我們也看到UIT UFS、龍存LoongStore、九州初志CZSS、美地森YFS等集群NAS解決方案。集群NAS的未來潛在市場巨大,在高效能計算HPC、**IPTV、視頻監控、雲存儲等行業領域將逐步得到廣泛應用。

 

2 集群NAS的三種主流技術架構
從整體架構來看,集群NAS由存儲子系統、NAS集群(機頭)、客戶端和網路組成。存儲子系統可以采用存儲區域網路SAN、直接連接存儲DAS或者面向對象存儲設備OSD的存儲架構,SAN和DAS架構方式需要通過存儲集群來管理後端存儲介質,並以SAN文件系統或集群文件系統的方式爲NAS集群提供標准文件訪問接口。在基于OSD架構中,NAS集群管理元數據,客戶端直接與OSD設備直接交互進行數據訪問,這就是並行NAS,即pNFS/NFSv4.1。NAS集群是NFS/CIS網關,爲客戶端提供標准文件級的NAS服務。對于SAN和DAS架構,NAS集群同時承擔元數據和I/O數據訪問功能,而OSD架構方式僅需要承擔元數據訪問功能。根據所采用的後端存儲子系統的不同,可以把集群NAS分爲三種技術架構,即SAN共享存儲架構、集群文件系統架構和pNFS/NFSv4.1架構。

(1)SAN共享存儲架構
這種架構(如圖1所示)後端存儲采用SAN,所有NAS集群節點通過光纖連接到SAN,共享所有的存儲設備,通常采用SAN並行文件系統管理並輸出POSIX接口到NAS集群。SAN並行文件系統通常需要元數據控制伺服器,可以是專用的MDC,也可以采用完全分布的方式分布到SAN客戶端上。NAS集群上安裝SAN文件系統客戶端即可實現對SAN共享存儲的並發訪問,然後運行NFS/CIFS服務爲客戶端提供服務。這裏前端網路采用以太網,後面存儲連接則采用SAN網路。

集群NAS技術架構

圖1 SAN共享存儲集群NAS架構

由于采用了高效能的SAN存儲網路,這種集群NAS架構可以提供穩定的高帶寬和IOPS效能,而且可以通過增加存儲盤陣或NAS集群節點實現存儲容量和效能單獨擴展。客戶端可以直接連接具體的NAS集群節點,並采用集群管理軟件來實現高可用性;也可以采用DNS或LVS實現負載均衡和高可用性,客戶端使用虛擬IP進行連接。SAN存儲網路和並行文件系統成本都比較高,因此這種集群NAS架構的缺點就是成本較高,同時也繼承了SAN存儲架構的缺點,比如部署管理複雜、擴展規模有限等。采用這種架構的集群NAS典型案例是IBM SONAS(圖2)和Symantec FileStore。

集群NAS技術架構

圖2 SONAS

 

(2)集群文件系統架構
這種架構(如圖3所示)後端存儲采用DAS,每個存儲伺服器直連各自的存儲系統,通常爲一組SATA磁盤,然後由集群文件系統統一管理物理分布的存儲空間而形成一個單一命名空間的文件系統。實際上,集群文件系統是將RAID、Volume、File System的功能三者合一了。目前的主流集群文件系統一般都需要專用元數據服務或者分布式的元數據服務集群,提供元數據控制和統一名字空間,當然也有例外,如無元數據服務架構的GlusterFS。NAS集群上安裝集群文件系統客戶端,實現對全局存儲空間的訪問,並運行NFS/CIFS服務對外提供NAS服務。NAS集群通常與元數據服務集群或者存儲節點集群運行在相同的物理節點上,從而減少物理節點部署的規模,當然會對效能産生一定的影響。與SAN架構不同,集群文件系統可能會與NAS服務共享TCP/IP網路,相互之間産生效能影響,導致I/O效能的抖動。諸如ISILON等集群文件系統存儲節點之間采用InfiniBand網路互聯,可以消除這種影響,保持效能的穩定性。

集群NAS技術架構

圖3 集群文件系統集群NAS架構

在這種架構下,集群NAS的擴展通過增加存儲節點來實現,往往同時擴展存儲空間和效能,很多系統可以達到接近線性地擴展。客戶端訪問集群NAS的方式與第一種架構方式相同,負載均衡和可用性也可以采用類似的方式。由于伺服器和存儲介質都可以采用通用標准的廉價設備,在成本上有很大優勢,規模可以很大。然而,這類設備是非常容易發生故障的,伺服器或者磁盤的損壞都會導致部分數據不可用,需要采用HA機制保證伺服器的可用性,采用複制保證數據的可用性,這往往會降低系統效能和存儲利用率。另外,由于伺服器節點比較多,這種架構不太適合産品化,可能更加適合于存儲解決方案。用這種架構的集群NAS典型案例包括EMC ISILON、龍存LoongStore、九州初志CZSS、美地森YFS和GlusterFS(圖4)等。

集群NAS技術架構

圖4 GluterFS架構

 

(3)pNFS/NFSv4.1架構
這種架構(如圖5所示)實際是並行NAS,即pNFS/NFSv4.1,RFC 5661標准已于2010.01獲得批准通過。它的後端存儲采用面對對象存儲設備OSD,支持FC/NFS/OSD多種數據訪問協定,客戶端讀寫數據時直接與OSD設備相互,而不像上述兩種架構需要通過NAS集群來進行數據中轉。這裏的NAS集群僅僅作爲元數據服務,I/O數據則由OSD處理,實現了元數據與數據的分離。這種架構更像原生的並行文件系統,不僅系統架構上更加簡單,而且效能上得到了極大提升,擴展性非常好。

集群NAS技術架構

圖5 pNFS/NFSv4.1集群NAS架構

顯而易見,這種架構與上述兩種有著本質的區別,pNFS采用元數據集群解決了傳統NAS的單點故障和效能瓶頸問題,元數據與數據的分離則解決了效能和擴展性問題。這才是真正的並行NAS,pNFS才是集群NAS的真正未來。然而,畢竟pNFS標准獲得批准才一年,目前還沒有成熟的産品實現,OSD存儲設備發展多年也沒有得到市場廣泛認可和普及。Panasas公司的PanFS(圖6)應該是最接近于這種集群NAS架構,當然Panasas也是pNFS標准的主要制定者之一。目前很多存儲公司都在研發pNFS産品,比如BlueArc,筆者預測到2012年就會有産品陸續推出。

集群NAS技術架構

圖6 PanFS架構

 

3 開源解決方案
上述提到的集群NAS存儲産品或者解決方案,大多都是商業實現,而且成本比較昂貴。可能有些用戶想利用開源軟件來實現集群NAS,有沒有這樣的開源解決方案呢?集群NAS的核心是底層的並行文件系統、集群文件系統或pNFS協定,下面就簡單介紹開源在集群NAS方面的支持和實現。
(1)SAN共享存儲架構:Redhat GFS是開源SAN共享文件系統,它也支持DAS連接方式,然後整合NFS/Samba服務即可實現集群NAS。
(2)集群文件系統架構:Lustre, Gluster, PVFS2, Ceph,這些都是優秀的集群文件系統,Gluster本身就是一個完整的集群NAS系統。類似Gluster實現,集群文件系統通過NFS/Samba網關提供NAS服務,實現集群NAS。
(3)pNFS/NFSv4.1架構:Linux內核當前已經集成了pNFS源碼,但處于實驗階段。另外開源OSD實現很少,GFS2可以支持pNFS。想嘗新的用戶可以一試,實際應用還是要謹慎。

更多相關文章
  • 在後web2.0時代,簡單的允許用戶産生內容,連接用戶組成社交網路,滿足用戶個性化需求,已經變成各個網站的標配,不可能成爲網站的特色和競爭優勢了.然而,隨著用戶産生內容的增多,用戶與系統交互手段的豐富,用戶可供選擇的選項的增多,用戶迫切需要一種可以處理當前信息爆炸時代的工具,可以迅速找到自己想要的內 ...
  • 可擴展的WEB架構與分布式系統
    開放源代碼已經成爲一些大型網站的基本原則.而在這些網站成長的過程中,一些優秀的實踐經驗和規則也出現在他們的結構中.本文旨在介紹一些在大型網站結構設計的過程中需要注意的關鍵問題以及實現目標的基礎工作. 本文側重于介紹網路系統,盡管一些准則在其他分布式系統中也是適用的. 1.1. web分布式系統的設計 ...
  •    隨著新技術的應用,政府網站集群化的影響力越來越明顯.基于整體性.易用性.安全性的政府機構網站群逐步建立,在提高行政效能.提升政府公信力等方面十分明顯.然而,隨著網站應用的不斷擴展,站群數量不斷擴大,支撐網站群的伺服器資源大量部署,能源消耗越來越多.管理成本越來越高.利用率逐漸走低,這是網站群持 ...
  • Linux內核設計的藝術:圖解Linux操作系統架構設計與實現原理
    Linux內核設計的藝術:圖解Linux操作系統架構設計與實現原理     關于Linux內核的書已經不計其數,但<Linux內核設計的藝術>卻是獨樹一幟的,它的內容代表著Linux內核研究成果的世界頂尖級水平.<Linux內核設計的藝術>一書,體現了我們設計新操作系統的過程 ...
  • 1. PlentyOfFish 網站架構學習 http://www.dbanotes.net/arch/plentyoffish_arch.html 采取 Windows 技術路線的 Web 2.0 站點並不多,除了 MySpace ,另外就是這個 PlentyOfFish.這個站點提供 " ...
  • 案例概述     用戶行業:制造業     用戶名稱:深圳領亞集團     技術方案:NETGEAR公司用高穩定的有線.無線網路産品爲深圳領亞集團構建IP統一基礎架構,並采用ReadyDATA及其專利的ReplicateTM 技術實現虛擬化環境下的存儲異地容災.             應用産品:M ...
  •   l  KVM:Kernel-based Virtual Machine,基于kernel的虛擬機 l  VMM:Virtual Machine Monitor,虛擬機監控器,在KVM虛擬化環境中,即KVM內核. l  VM:Virtual Machine,虛擬機,即Guest機. l  全虛擬化 ...
  • 高效能網站效能優化與系統架構(ZT) 說說大型高並發高負載網站的系統架構轉載請保留出處:俊麟 Michael's blog (http://www.toplee.com/blog/?p=71)Trackback Url :http://www.toplee.com/blog/wp-trackback ...
一周排行