全閃存數(shù)據(jù)中心讓Hadoop提速10倍
大?。?/span>0.08 MB 人氣: 2017-10-12 需要積分:1
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論(0)
標(biāo)簽:Hadoop(15736)vxrail(2550)
針對(duì)當(dāng)前的數(shù)字化轉(zhuǎn)型,EMC公司認(rèn)為,現(xiàn)代數(shù)據(jù)中心應(yīng)當(dāng)具備全閃存、云賦能、橫向擴(kuò)展和軟件定義四個(gè)特征。圍繞這四個(gè)核心,EMC發(fā)布了三款存儲(chǔ)產(chǎn)品,包括VxRail超融合基礎(chǔ)架構(gòu)應(yīng)用裝置、VMAX All flash以及DSSD D5機(jī)架級(jí)閃存解決方案。其中,DSSD D5可將高級(jí)數(shù)據(jù)分析等應(yīng)用提速多達(dá)10倍,并且可以改變Hadoop的三副本存儲(chǔ)機(jī)制。EMC預(yù)測(cè),到2020年,用于生產(chǎn)應(yīng)用的所有存儲(chǔ)系統(tǒng)都將基于閃存陣列,傳統(tǒng)磁盤(pán)僅用于大容量及歸檔存儲(chǔ)。
現(xiàn)代化的數(shù)據(jù)中心
EMC認(rèn)為,2016年將是全閃存之年,主存儲(chǔ)系統(tǒng)進(jìn)入全閃存時(shí)代。
EMC全球高級(jí)副總裁、大中華區(qū)總裁葉成輝表示,當(dāng)前的數(shù)字化轉(zhuǎn)型中,大數(shù)據(jù)、移動(dòng)、物聯(lián)網(wǎng)等新應(yīng)用不斷推動(dòng)數(shù)據(jù)中心向更快速、更高效、更敏捷的方向變革。
VMware全球副總裁、大中華區(qū)總裁郭尊華認(rèn)為,企業(yè)都希望采用云計(jì)算、移動(dòng)、互聯(lián)網(wǎng)技術(shù)去推動(dòng)新的業(yè)務(wù)的發(fā)展,在搭建數(shù)據(jù)中心的時(shí)候,要非常快速地去部署、管理這些IT的資源,同時(shí)也必須要去追求高效、經(jīng)濟(jì)的效率。
葉成輝表示,從EMC的角度來(lái)看,現(xiàn)代化的數(shù)據(jù)中心有四個(gè)方面的亮點(diǎn)。
全閃存?,F(xiàn)在已經(jīng)逐漸變成閃存的天下。EMC在三年半之前推出來(lái)第一臺(tái)閃存,大家覺(jué)得很貴,但是現(xiàn)在已經(jīng)在改變?,F(xiàn)在EMC推出來(lái)的閃存產(chǎn)品已經(jīng)是3.8TB,三星在研發(fā)的是30TB的閃存。今天大部分企業(yè)用的非閃存的存儲(chǔ)還是1TB,而且是機(jī)械存儲(chǔ),故障率更高,需要很多的維修工作,所以閃存會(huì)改變未來(lái)。因?yàn)楝F(xiàn)在閃存比較大,成本比較低。所有的數(shù)據(jù)中心在未來(lái)18個(gè)月將會(huì)轉(zhuǎn)換成新的應(yīng)用會(huì)放在閃存上面。
云賦能。所有的數(shù)據(jù)中心未來(lái)都要跟云結(jié)合,這就是云賦能的做法。
橫向擴(kuò)展。添加硬盤(pán)的傳統(tǒng)縱向擴(kuò)展做法只適合數(shù)據(jù)量增長(zhǎng)不大的情況,但是未來(lái)的數(shù)據(jù)中心是橫向擴(kuò)展的做法。
軟件定義。新應(yīng)用快速迭代,工程師已經(jīng)沒(méi)有那么多時(shí)間去管理數(shù)據(jù)中心,需要利用軟件自動(dòng)化管理來(lái)支持更多的新應(yīng)用,所以未來(lái)是軟件定義。
EMC全球高級(jí)副總裁、大中華區(qū)總裁葉成輝與VMware全球副總裁、大中華區(qū)總裁郭尊華
機(jī)架級(jí)閃存可讓Hadoop提速10倍
EMC資深產(chǎn)品顧問(wèn)李君鵬(Mike)介紹了EMC最新發(fā)布的VxRail超融合基礎(chǔ)架構(gòu)應(yīng)用裝置、VMAX All flash和全新的機(jī)架級(jí)閃存的存儲(chǔ)解決方案DSSD D5的技術(shù)細(xì)節(jié)。
VxRail
隨著CPU和存儲(chǔ)的密度越來(lái)越高,以及有更快的網(wǎng)絡(luò)來(lái)連接CPU和存儲(chǔ),現(xiàn)在可以使用軟件定義的基礎(chǔ)架構(gòu),超融合基礎(chǔ)架構(gòu)是軟件定義的,將計(jì)算、軟件定義的存儲(chǔ)、網(wǎng)絡(luò)和虛擬化集成在一起,超融合基礎(chǔ)架構(gòu)使計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)功能與底層的硬件解耦合,運(yùn)行在通用的基于X86標(biāo)準(zhǔn)的工業(yè)組件上。
超融合基礎(chǔ)架構(gòu)簡(jiǎn)化了SDDC軟件定義的數(shù)據(jù)中心,超融合基礎(chǔ)架構(gòu)包括兩個(gè)基本的組件,一個(gè)是超融合軟件,另外一個(gè)是工業(yè)標(biāo)準(zhǔn)硬件。超融合軟件提供了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和管理功能。超融合軟件允許物體存儲(chǔ)融合在工業(yè)標(biāo)準(zhǔn)的X86服務(wù)器里,以構(gòu)件塊的方式提供了橫向擴(kuò)展的能力,可以使數(shù)據(jù)中心以敏捷、可擴(kuò)展以及成本高效的方式來(lái)運(yùn)行。
VMware的超融合軟件,包括vCenter Server、vSphere、VSAN等。
VCE VxRail是由EMC和VMware共同組建的、單一研發(fā)團(tuán)隊(duì)提供的超融合的應(yīng)用裝置,以2U、四節(jié)點(diǎn)、敏捷可擴(kuò)展、易管理、SDDC構(gòu)件塊的方式,提供了虛擬化、計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和數(shù)據(jù)保護(hù)。VxRail應(yīng)用裝置適合于部署在虛擬桌面、服務(wù)器工作負(fù)載、混合云以及分布式企業(yè)環(huán)境。VxRail應(yīng)用裝置提供了多種配置和規(guī)格,可以實(shí)現(xiàn)無(wú)中斷的SDDC的橫向擴(kuò)展。
VxRail也提供了可以提升效率的數(shù)據(jù)服務(wù),集成了復(fù)制、數(shù)據(jù)保護(hù)、備份功能。
VxRail為VMware超融合環(huán)境提供了單一廠商支持的單一廠商解決方案。
VxRail使用X86硬件運(yùn)行軟件定義的存儲(chǔ)環(huán)境,VxRail是專門構(gòu)建的SDDC軟件定義數(shù)據(jù)中心解決方案。
VxRail是完全集成的VMware的超融合基礎(chǔ)架構(gòu)應(yīng)用裝置。
如果使用其他的超融合解決方案,用戶需要使用第三方的工具和管理。VxRail允許客戶利用現(xiàn)有的標(biāo)準(zhǔn),使用相同的工具、管理、流程和技能,不需要新技術(shù)的學(xué)習(xí)過(guò)程。集成現(xiàn)有的VMware的軟件版本,簡(jiǎn)化了生命周期管理,降低了TCO。
一個(gè)2U的VxRail最多可以有112個(gè)CPU核心,提供76TB的閃存容量,支持同步數(shù)據(jù)消除、壓縮、糾刪碼,一個(gè)2U的應(yīng)用裝置提供了更多的閃存、更多的性能。
使用VxRail可以從小配置開(kāi)始,16個(gè)VxRail應(yīng)用裝置最多可以運(yùn)行3200個(gè)虛擬機(jī)。
使用VxRail可以選擇適合任何使用情形的配置,對(duì)于那些需要最大的性能和規(guī)格,要求低延遲的應(yīng)用程序,客戶可以選擇全閃存節(jié)點(diǎn)。對(duì)于那些需要兼顧性能和成本的使用場(chǎng)景,客戶可以選擇混合節(jié)點(diǎn)。
一個(gè)應(yīng)用裝置內(nèi)的四個(gè)節(jié)點(diǎn)必須是同構(gòu)的,不同配置的應(yīng)用裝置可以在一個(gè)群體當(dāng)中混搭。
使用VxRail,簡(jiǎn)化了端到端的生命周期管理。VMware的超融合軟件,可以自動(dòng)搭建、配置和驗(yàn)證客戶的VxRail,加速業(yè)務(wù)的敏捷性,加快了收效時(shí)間。從開(kāi)機(jī)到調(diào)配虛擬機(jī),客戶只需要不到15分鐘,就可以建立起一個(gè)VMware的群集,沒(méi)有其他超融合解決方案能夠做到這一點(diǎn)。要實(shí)現(xiàn)這個(gè)目標(biāo),超過(guò)200多個(gè)配置步驟,實(shí)現(xiàn)了自動(dòng)化。添加一個(gè)新的應(yīng)用裝置到這個(gè)環(huán)境,只需要5分鐘就可以完全配置好。
VxRail中,RecoverPoint提供了復(fù)制、數(shù)據(jù)保護(hù)和先進(jìn)的災(zāi)難恢復(fù)。VMware的VDP提供了原端消重的數(shù)據(jù)恢復(fù),還可以使用EMC的Data Domain,還可以將VxRail的存儲(chǔ)容量可以擴(kuò)展到可擴(kuò)展的云存儲(chǔ)當(dāng)中。VxRail的市場(chǎng)當(dāng)中,有一些經(jīng)過(guò)驗(yàn)證的、預(yù)配置的應(yīng)用程序供客戶選擇,進(jìn)一步擴(kuò)展了客戶VxRail的價(jià)值。隨著時(shí)間的推移,VxRail市場(chǎng)里會(huì)有越來(lái)越多的應(yīng)用程序供客戶選擇。
EMC的融合平臺(tái)提供了這種端到端的方式,將Vblock、VxRack等混合在一起,在邊緣或者是在遠(yuǎn)程辦公室、分支辦公室,有VxRail,所有這一切通過(guò)VCE vScale聯(lián)結(jié)在一起,使用VCE來(lái)管控。這就是分級(jí)的分布式企業(yè)應(yīng)用的融合基礎(chǔ)架構(gòu)平臺(tái),是由EMC的VCE提供。
郭尊華表示,VMware自身也是VxRail的客戶,在全球用了130套,節(jié)省了很多機(jī)房的空間和機(jī)架的空間。
對(duì)于EMC融合架構(gòu)的三種不同產(chǎn)品Vblock、VxRack和VxRail的差異性,李君鵬總結(jié)說(shuō),Vblock最適合于部署在傳統(tǒng)的數(shù)據(jù)中心,運(yùn)行以前關(guān)鍵任務(wù)應(yīng)用,像SAP、Oracle、Microsoft等等,第二平臺(tái)最關(guān)鍵的應(yīng)用。VxRack部署在傳統(tǒng)的企業(yè)數(shù)據(jù)中心和服務(wù)提供商的數(shù)據(jù)中心最合適,運(yùn)行這些通用的一般的第二平臺(tái)工作應(yīng)用和最新的第三平臺(tái)應(yīng)用。VxRail最適合于部署在數(shù)據(jù)中心以外,或者是中小企業(yè),中小企業(yè)可能是很小的數(shù)據(jù)中心,只有很少的IT人員。像這些都是VxRail直接運(yùn)行的虛擬化工作負(fù)載,都是VxRail比較適合的。都提供了很好的橫向擴(kuò)展能力,即使2U的VxRail應(yīng)用裝置,也可以擴(kuò)展到16個(gè)應(yīng)用裝置,運(yùn)行多達(dá)3200個(gè)虛擬機(jī)。如果是客戶未來(lái)的環(huán)境需要擴(kuò)展得更大,一開(kāi)始就建議上VxRack。此外,不同于VxRail與VMware緊密集成,VxRack可以支持OpenStack環(huán)境。
VMAX All flash
認(rèn)為全閃存年到來(lái),EMC重新設(shè)計(jì)了VMAX,盡可能的利用最高密度的閃存,通過(guò)支持3.8TB的閃存盤(pán),使VMAX All flash與混合陣列相比,在購(gòu)買成本和總體擁有成本方面,更具有吸引力。與混合陣列相比,VMAX All flash提供了更高的性能,400萬(wàn)IOPS,低于0.5毫米的延遲,150GB/S的帶寬。簡(jiǎn)化了基于應(yīng)用裝置的軟件打包方式和橫向擴(kuò)展的構(gòu)件塊配置,消除了銷售和購(gòu)買的復(fù)雜性,使客戶更樂(lè)意采納全閃存的VMAX,和使用高端的數(shù)據(jù)存儲(chǔ)服務(wù)。
由于全部是閃存盤(pán),只提供了一個(gè)服務(wù)節(jié)點(diǎn),不需要關(guān)心應(yīng)用程序的I/O偏斜的不同,因?yàn)檎麄€(gè)應(yīng)用程序都是應(yīng)用在閃存盤(pán)上。
VMAX All flash與ECM此前推出的XtremIO全閃存陣列的相同和不同之處:
首先,XtremIO和VMAX All flash都支持混合工作負(fù)載整合,都提供了一致的低延遲。與XtremIO不同的是,VMAX All flash提供了多維度的擴(kuò)展,無(wú)論是端口支持的設(shè)備數(shù)量還是容量。VMAX All flash為關(guān)鍵任務(wù)應(yīng)用提供了世界級(jí)的業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)解決方案,提供了6個(gè)9的可用性。除了數(shù)據(jù)塊的工作負(fù)載,VMAX All flash還可以整合mainframe、IBM 系列和文件的工作負(fù)載。VMAX All flash提供了線內(nèi)的消重和壓縮,還有無(wú)中斷的VMAX數(shù)據(jù)遷移。
VMAX All flash為閃存而設(shè)計(jì),能夠支持巨大的規(guī)模,增加了閃存的耐用性,提供了一致的低于0.5毫秒的延遲。VMAX All flash提供了高IOPS、巨大的帶寬。
多核多線程設(shè)計(jì),用于超過(guò)100萬(wàn)個(gè)虛擬機(jī),VMAX All flash有巨大的全局緩存,寫(xiě)I/O首先寫(xiě)到VMAX的cache當(dāng)中,如果同一個(gè)地址的數(shù)據(jù)被反復(fù)修改,VMAX就把最后的修改寫(xiě)到后端的閃存盤(pán)上。VMAX巨大的全局內(nèi)存使后端寫(xiě)到閃存盤(pán)的I/O數(shù)量減少了80%,增加了閃存的耐用性。同時(shí)VMAX All flash也提供了閃存的模組分析技術(shù),可以監(jiān)控閃存盤(pán)的使用壽命。當(dāng)發(fā)現(xiàn)閃存盤(pán)的使用壽命接近的時(shí)候,可以預(yù)先準(zhǔn)備好備用的閃存盤(pán)。
巨大的寫(xiě)緩存、智能的讀寫(xiě)算法,為VMAX All flash提供了極低的、一致的低于0.5毫秒的延遲。CPU按照工作負(fù)載的要求,動(dòng)態(tài)分配CPU的核,先進(jìn)的QoS、優(yōu)先級(jí)控制,可調(diào)整的前端后端的FE/BE樣本文件。
VMAX All flash有巨大的SPC吞吐量,支持BI和DW。
VMAX All flash的基本構(gòu)件塊是V-brick,包括引擎和53TB的閃存軟件,可按照13TB閃存包實(shí)現(xiàn)橫向擴(kuò)展。VMAX All flash縱向和橫向擴(kuò)展能力,可以分別擴(kuò)展容量和性能。V-brick和驅(qū)動(dòng)器升級(jí)都是打包的。
客戶在尋求全閃存系統(tǒng)帶來(lái)好處的同時(shí),又不想失去高端存儲(chǔ)支持他們關(guān)鍵任務(wù)的能力和價(jià)值,VMAX All flash廣泛的生態(tài)環(huán)境為各種平臺(tái)、操作系統(tǒng)、混合云等各類應(yīng)用提供了通用的標(biāo)準(zhǔn)的交付存儲(chǔ)服務(wù)的方式。VMAX All flash堅(jiān)若磐石般的復(fù)制和集成技術(shù),支持了客戶的關(guān)鍵應(yīng)用程序,維護(hù)數(shù)據(jù)的可用性,避難了災(zāi)難。
VMAX All flash企業(yè)規(guī)模的管理和自動(dòng)化,簡(jiǎn)化了管理,降低了運(yùn)行成本。
VMAX All flash巨大的整合能力可以滿足服務(wù)提供商和大企業(yè)需要的可預(yù)測(cè)性、規(guī)模和控制。
使用unisphere配置VMAX All flash,平均的調(diào)配時(shí)間不到30秒。
VMAX All flash部署也非常靈活,可以單獨(dú)部署,也可以作為Vblock融合存儲(chǔ)架構(gòu)來(lái)快速部署。
一個(gè)VMAX All flash技術(shù)更新的案例,客戶原先有一個(gè)9機(jī)柜的VMAX20K,通過(guò)更新為相同容量的單一機(jī)柜的VMAX All flash,實(shí)現(xiàn)了6倍性能的提升,總體應(yīng)用成本降低了40%,能耗減少了87%,占地面積減少了92%,預(yù)計(jì)驅(qū)動(dòng)器的更換數(shù)量會(huì)減少98%。
VMAX All flash是真正的關(guān)鍵任務(wù)存儲(chǔ),管理自動(dòng)化、豐富的企業(yè)數(shù)據(jù)服務(wù)、深入的生態(tài)環(huán)境集成、可信的保護(hù)、超大規(guī)模的整合,簡(jiǎn)化了規(guī)劃和部署,實(shí)現(xiàn)閃存的潛能。
葉成輝認(rèn)為,VMAX All flash最顛覆的就是傳統(tǒng)的金融銀行,因?yàn)?0%的銀行都有VMAX,對(duì)他們來(lái)講最需要的是穩(wěn)定、可靠、快,以前可能沒(méi)有All flash,他們不夠快。
機(jī)架級(jí)閃存存儲(chǔ)解決方案DSSD D5
DSSD提供了一個(gè)共享的和直接訪問(wèn)的高性能機(jī)架級(jí)閃存存儲(chǔ)池,支持高度可擴(kuò)展的協(xié)議,實(shí)現(xiàn)了NVMe從user space來(lái)訪問(wèn),也實(shí)現(xiàn)了NVMe的熱插拔的存儲(chǔ)模塊。
DSSD提供了超高的性能,一千萬(wàn)個(gè)IOPS,100GB/S的帶寬,100微秒的延遲,144TB的閃存容量。
DSSD優(yōu)化了數(shù)據(jù)通道和客戶通道,DSSD的數(shù)據(jù)通道是不使用軟件的,這樣就提供了最低的應(yīng)用程序的延遲,最大的IOPS和帶寬。應(yīng)用程序直接訪問(wèn)DSSD,不需要經(jīng)過(guò)傳統(tǒng)的I/O軟件站。
DSSD D5是一個(gè)5U的高性能、高密度和基于NAED閃存的機(jī)架級(jí)存儲(chǔ),最多可以有36個(gè)閃存模塊,可以全裝或者半裝。DSSD D5提供了不同的配置,可以有36TB、72TB或者144TB的閃存容量。
DSSD的閃存模塊是雙端口的,PCIe Gen3的,是熱插拔的。DSSD有兩個(gè)控制模塊,提供了冗余。
DSSD有兩個(gè)I/O模塊,每一個(gè)IO模塊可以連接48臺(tái)冗余連接的主機(jī)。DSSD的控制模塊不用來(lái)處理I/O請(qǐng)求。
與應(yīng)用程序的接口,是DSSD與其他解決方案最大的不同點(diǎn)。DSSD直接連接各種應(yīng)用程序,根據(jù)傳統(tǒng)的應(yīng)用程序特別是數(shù)據(jù)塊內(nèi)的應(yīng)用程序,DSSD提供了一個(gè)block drive,不需要修改I/O原代碼,直接訪問(wèn)DSSD。對(duì)于Hadoop類的應(yīng)用程序,DSSD提供了Hadoop的HBase插件。
DSSD增減了空間、時(shí)間的垃圾回收可靠性,閃存物理控制,增強(qiáng)了閃存的耐用性??蛻粼趯で髮?shí)時(shí)解決方案,EMC看到三類數(shù)據(jù)密集、性能密集的工作負(fù)載,受到傳統(tǒng)存儲(chǔ)瓶頸的影響最大。一類是高性能的數(shù)據(jù)倉(cāng)庫(kù),包括傳統(tǒng)的數(shù)據(jù)庫(kù)、Oracle、MPP、內(nèi)存數(shù)據(jù)庫(kù)。另外一類是運(yùn)行在HDFS上的高性能應(yīng)用,SQL等等。第三類是定制應(yīng)用。使用DSSD運(yùn)行高性能的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù),可以實(shí)時(shí)分析更大的數(shù)據(jù)級(jí),并且不需要做過(guò)多的調(diào)整。
使用DSSD運(yùn)行在HDFS上的高性能應(yīng)用,可以使實(shí)時(shí)分析成為可能,并且可以獨(dú)立擴(kuò)展計(jì)算和存儲(chǔ)。
使用DSSD用于定制應(yīng)用,可以提供更好的帶寬密度,減少等待時(shí)間和增加分析。
DSSD可以達(dá)到1000萬(wàn)的IOPS(5U系統(tǒng)),延遲100微秒,帶寬100GB/s,原始數(shù)據(jù)存儲(chǔ)容量144TB(可用容量100TB)。運(yùn)行數(shù)據(jù)庫(kù),與Oracle最快的存儲(chǔ)平臺(tái)相比,性能是Oracle的三倍,延遲是Oracle的1/3,總體擁有成本是Oracle的1/3。
在DSSD上運(yùn)行Hadoop,只需要存儲(chǔ)一份數(shù)據(jù)就可以了,這與傳統(tǒng)的Hadoop解決方案相比,存儲(chǔ)容量?jī)H是傳統(tǒng)解決方案的1/3,速度是傳統(tǒng)解決方案的10倍。
DSSD可以用于各行各業(yè),可以用于信用卡的欺詐甄別,金融的風(fēng)險(xiǎn)分析,可以用于預(yù)測(cè)建模,流數(shù)據(jù)的近實(shí)時(shí)分析,還可以用于金融的交易建模,政府的設(shè)計(jì)仿真,石油天然氣的抽取模擬網(wǎng)格,生命科學(xué)研究等定制應(yīng)用。
在信用卡實(shí)時(shí)分析方面,過(guò)去由于沒(méi)有能力快速地分析,可能只能分析少量的字段,來(lái)判斷這筆交易是正常交易還是欺詐交易。有了DSSD,可以在更短的時(shí)間分析更多的字段,來(lái)分析這筆交易是否是正常交易還是欺詐交易。一家公司使用DSSD支持欺詐分析,使欺詐的金額降低了25%。
?
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
全閃存數(shù)據(jù)中心讓Hadoop提速10倍下載
相關(guān)電子資料下載
- 大數(shù)據(jù)計(jì)算框架簡(jiǎn)介 1089
- 大數(shù)據(jù)相關(guān)介紹:Hadoop的生態(tài)系統(tǒng)構(gòu)成 1011
- 史上體積最小、功能最多的VxRail即將上市! 363
- Hadoop大數(shù)據(jù)存算分離方案:計(jì)算層無(wú)縫對(duì)接存儲(chǔ)系統(tǒng) 576
- IT大偵“碳”:VxRail的可持續(xù)法寶 428
- 開(kāi)源“摩爾定律”即將打破《2022開(kāi)源大數(shù)據(jù)熱力報(bào)告》云棲大會(huì)上發(fā)布 309
- 如何將Hadoop部署在低廉的硬件上 993
- Ampere將在2022 Apache Hadoop Meetup上解讀云原生 782
- VxRail使用vSAN RDMA提高應(yīng)用程序性能 1577
- 基于Hadoop的產(chǎn)品大數(shù)據(jù)分布式存儲(chǔ)優(yōu)化 515