華為大數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)統(tǒng)一管理40PB文件系統(tǒng)

　　華為近日宣布旗下大數(shù)據(jù)存儲(chǔ)OceanStor 9000經(jīng)過全面的驗(yàn)證可實(shí)現(xiàn)目前業(yè)界最大40PB文件系統(tǒng)，相當(dāng)于4萬塊1TB硬盤的超大容量空間可同時(shí)被一個(gè)文件系統(tǒng)進(jìn)行目錄管理，這是OceanStor 9000大數(shù)據(jù)存儲(chǔ)繼獲得500萬OPS性能冠軍之后又一次領(lǐng)先業(yè)界的創(chuàng)舉。此次驗(yàn)證同時(shí)得到了英特爾、希捷以及AgigA Tech等業(yè)內(nèi)一流合作伙伴的大力支持。

　　隨著企業(yè)的發(fā)展以及大數(shù)據(jù)時(shí)代的到來，許多行業(yè)為了在多個(gè)獨(dú)立的應(yīng)用和數(shù)據(jù)孤島中挖掘出更大的數(shù)據(jù)價(jià)值，希望將數(shù)據(jù)融合起來共享使用，因此對(duì)單一文件系統(tǒng)的容量提出了非常高的要求。比如，中國的智慧城市建設(shè)已經(jīng)大步邁進(jìn)8Mbps碼流的高清時(shí)代， 視頻存儲(chǔ)已經(jīng)達(dá)到10～20PB存儲(chǔ)容量;互聯(lián)網(wǎng)新媒體的數(shù)據(jù)量，也從TB級(jí)進(jìn)入幾十PB級(jí)集中存儲(chǔ)時(shí)代;目前我國正在推動(dòng)建設(shè)的國家級(jí)基因庫將建設(shè)一個(gè)能夠容納50PB容量基因數(shù)據(jù)存儲(chǔ)和分析倉庫。由此可見，在大數(shù)據(jù)時(shí)代背景下，行業(yè)客戶對(duì)于PB級(jí)統(tǒng)一命名空間的高性能存儲(chǔ)已經(jīng)呈現(xiàn)出旺盛的需求態(tài)勢(shì)。華為OceanStor 9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)40PB單一命名空間的實(shí)證正是在這樣的背景下，以客戶實(shí)際需求為導(dǎo)向的又一次扛鼎之作。

　　40PB超大容量的實(shí)現(xiàn)得益于多項(xiàng)創(chuàng)新技術(shù)的支撐：首先，華為自主研發(fā)的分布式文件系統(tǒng)WushanFS，采用創(chuàng)新的元數(shù)據(jù)管理方式，使得系統(tǒng)的性能、可靠性以及擴(kuò)展能力三個(gè)方面可以并駕齊驅(qū)，真正實(shí)現(xiàn)性能、容量線性增長，數(shù)據(jù)可靠存儲(chǔ)。其次，動(dòng)態(tài)哈希表技術(shù)、目錄動(dòng)態(tài)子樹分裂技術(shù)、全局一致性緩存、RDMA over TCP等互聯(lián)網(wǎng)技術(shù)的引入，為OceanStor 9000大規(guī)模橫向擴(kuò)展后性能線性增長提供了技術(shù)保證。另外，數(shù)據(jù)隔離技術(shù)將一個(gè)大規(guī)模的集群規(guī)劃為多個(gè)中等規(guī)模存儲(chǔ)空間，有效的解決了大數(shù)據(jù)存儲(chǔ)設(shè)備大規(guī)模擴(kuò)展后故障域過大，故障概率高的可靠性問題。集群任務(wù)拆分、并發(fā)、合并的MapReduce設(shè)計(jì)思想的引入，也最大限度的降低了大規(guī)模集群管理的系統(tǒng)壓力。

　　在40PB大規(guī)模集群的驗(yàn)證過程中，OceanStor 9000展現(xiàn)了其優(yōu)越的易管理性和擴(kuò)展性，288節(jié)點(diǎn)集群部署在60分鐘內(nèi)完成，單節(jié)點(diǎn)擴(kuò)容在1分鐘內(nèi)完成，全過程圖形化界面操作，容量和性能線性擴(kuò)展，最大可提供40PB容量，200GB/s帶寬。

　　華為存儲(chǔ)產(chǎn)品線總裁范瑞琦表示：“OceanStor 9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)的40PB超大容量的實(shí)現(xiàn)，能夠真正應(yīng)對(duì)大數(shù)據(jù)時(shí)代的數(shù)據(jù)量沖擊，可以更好的幫助行業(yè)客戶實(shí)現(xiàn)業(yè)務(wù)增長，例如可以支持媒體行業(yè)數(shù)千高清碼流的電視節(jié)目同時(shí)在線制作，滿足以央視為代表的全球性電視臺(tái)的所有節(jié)目制作需求;能夠支持上萬路1080p攝像頭實(shí)時(shí)錄像和并行分析，滿足像上海、廣州、成都等大中型智慧城市全網(wǎng)視頻監(jiān)控需求?！?/P>

　　英特爾通訊和存儲(chǔ)基礎(chǔ)設(shè)施事業(yè)部存儲(chǔ)部門總經(jīng)理Bev Clair對(duì)此次合作評(píng)價(jià)到：“大數(shù)據(jù)時(shí)代的到來為我們提供了變革性的機(jī)遇，提供幫助我們解決歷史性商業(yè)問題的機(jī)遇。英特爾和華為強(qiáng)強(qiáng)聯(lián)合，通過研發(fā)大數(shù)據(jù)項(xiàng)目的技術(shù)和工具，不斷滿足客戶的需求。英特爾和華為已經(jīng)成功地完成對(duì)40PB的大數(shù)據(jù)存儲(chǔ)工作負(fù)載的分析，為應(yīng)用方面的存儲(chǔ)解決方案的商業(yè)部署提供了參考。我們現(xiàn)在已經(jīng)具備了打破當(dāng)今容量瓶頸且滿足客戶需求的能力。我們會(huì)加快產(chǎn)品上市的時(shí)間，提供靈活性強(qiáng)、性價(jià)比高的解決方案，滿足日益增長的存儲(chǔ)需求。”

　　希捷科技全球副總裁暨中國區(qū)總裁孫丹女士表示：“大數(shù)據(jù)時(shí)代數(shù)據(jù)的快速增長，給客戶的存儲(chǔ)需求帶來極大的挑戰(zhàn)。從單點(diǎn)來看，客戶需要更大容量更穩(wěn)定的存儲(chǔ)介質(zhì);從存儲(chǔ)系統(tǒng)整體來看，超大容量的單一文件系統(tǒng)對(duì)客戶將具有更實(shí)際的應(yīng)用價(jià)值，和更廣泛的應(yīng)用場景。此次華為與多家合作伙伴聯(lián)合驗(yàn)證40PB單一文件系統(tǒng)正是在這樣的背景下開展的。希捷愿意與華為共同聯(lián)手，推動(dòng)大數(shù)據(jù)存儲(chǔ)技術(shù)的研發(fā)創(chuàng)新和方案推廣。”

　　AgigA Tech首席執(zhí)行官Ron Sartore先生如此評(píng)價(jià)：“在與華為將近三年的合作中，AgigA Tech與華為在引入NVDIMM技術(shù)到華為服務(wù)器以及存儲(chǔ)產(chǎn)品的過程中保持了緊密的合作。在AgigA Tech成都研發(fā)中心對(duì)華為進(jìn)行本地化技術(shù)支持的過程中，我們有幸第一時(shí)間看到華為海量存儲(chǔ)OceanStor 9000系列作為劃時(shí)代的產(chǎn)品所能提供的前所未有的I/O性能，這足以應(yīng)對(duì)未來繁重的工作負(fù)荷。我們將繼續(xù)與華為保持緊密的合作伙伴關(guān)系，并對(duì)有機(jī)會(huì)將基于DDR4以及未來內(nèi)存技術(shù)的NVDIMM產(chǎn)品更加廣泛應(yīng)用于華為產(chǎn)品而感到興奮?！?/P>