四、云計算平臺搭建方法
目前開源的云計算平臺的搭建都要依托Linux系統(tǒng),因此我們有2種辦法搭建云計算平臺:安裝Linux系統(tǒng)和在其他操作系統(tǒng)下安裝Linux虛擬機(jī)后搭建云平臺。目前主流的虛擬機(jī)有:
VirtualBox
Vmware
有了Linux系統(tǒng)環(huán)境后就能搭建云計算平臺了,幾大開源云平臺系統(tǒng)有:
Hadoop系統(tǒng)
OpenStack
云計算平臺的搭建=Linux系統(tǒng)+開源云平臺+SSH框架。
五、云計算平臺原理
1.Hadoop系統(tǒng)原理
Hadoop是一個開源的可運(yùn)行于大規(guī)模集群上的分布式并行編程框架,其最核心的設(shè)計包括:Map Reduce和HDFS?;?Hadoop,你可以輕松地編寫可處理海量數(shù)據(jù)的分布式并行程序,并將其運(yùn)行于由成百上千個結(jié)點(diǎn)組成的大規(guī)模計算機(jī)集群上。
簡單的說:Map Reduce框架的核心步驟主要分兩部分:Map和Reduce。當(dāng)你向Map Reduce框架提交一個計算作業(yè)時,它會首先把計算作業(yè)拆分成若干個Map任務(wù),然后分配到不同的節(jié)點(diǎn)上去執(zhí)行,每一個Map任務(wù)處理輸入數(shù)據(jù)中的一部分,當(dāng)Map任務(wù)完成后,它會生成一些中間文件,這些中間文件將會作為Reduce任務(wù)的輸入數(shù)據(jù)。Reduce對數(shù)據(jù)做進(jìn)一步處理之后,輸出最終結(jié)果。
Map Reduce是Hadoop的核心技術(shù)之一,為分布式計算的程序設(shè)計提供了良好的編程接口,并且屏蔽了底層通信原理,使得程序員只需關(guān)心業(yè)務(wù)邏輯本事,就可輕易的編寫出基于集群的分布式并行程序。從它名字上來看,大致可以看出個兩個動詞Map和Reduce,“Map(展開)”就是將一個任務(wù)分解成為多個子任務(wù)并行的執(zhí)行,“Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來,得出最后的分析結(jié)果并輸出。
適合用 Map Reduce來處理的數(shù)據(jù)集(或任務(wù))有一個基本要求:待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集,而且每一個小數(shù)據(jù)集都可以完全并行地進(jìn)行處理。
想要徹底了解Hadoop系統(tǒng)的原理是十分困難的,由于篇幅有限,知識水平也不高,我只能描寫其大概面貌,本次課程設(shè)計的核心是學(xué)習(xí)搭建與運(yùn)用云計算平臺,沒有足夠的時間與精力去完全了解Hadoop的原理,在這里我們不妨就理解為:
Hadoop系統(tǒng)=HDFS分布式文件系統(tǒng)+Map Reduce運(yùn)算機(jī)制。
這樣就能很好的明白它們的大致關(guān)系,有助于對后面實(shí)驗(yàn)的理解。

2.Ubuntu系統(tǒng)
本次課程設(shè)計所使用的Linux系統(tǒng)是ubuntu14。
Ubuntu(烏班圖)是一個以桌面應(yīng)用為主的Linux操作系統(tǒng),其名稱來自非洲南部祖魯語或豪薩語的“Ubuntu”一詞,意思是“人性”、“我的存在是因?yàn)榇蠹业拇嬖凇保欠侵迋鹘y(tǒng)的一種價值觀,類似華人社會的“仁愛”思想。Ubuntu基于Debian發(fā)行版和GNOME桌面環(huán)境,而從11.04版起,Ubuntu發(fā)行版放棄了Gnome桌面環(huán)境,改為Unity,與Debian的不同在于它每6個月會發(fā)布一個新版本。Ubuntu的目標(biāo)在于為一般用戶提供一個最新的、同時又相當(dāng)穩(wěn)定的主要由自由軟件構(gòu)建而成的操作系統(tǒng)。
LTS 是 Ubuntu 的長期支持版,因此 Ubuntu 14.04 支持周期長達(dá) 3-5 年。因此 Ubuntu 14.04 是追求穩(wěn)定的用戶和企業(yè)的最佳選擇。所以本次課程設(shè)計選擇ubuntu14.04LTS版本完全能夠應(yīng)付云平臺搭建與相關(guān)實(shí)驗(yàn)的任務(wù)。
六、云計算平臺搭建過程
1.Ubuntu系統(tǒng)的安裝
去Ubuntu官網(wǎng)下載好對應(yīng)版本的系統(tǒng)鏡像,并用虛擬光驅(qū)軟件加載鏡像,選擇安裝Ubuntu系統(tǒng),一路點(diǎn)擊繼續(xù)后大約10來分鐘就可以安裝好Ubuntu系統(tǒng)了。
2.Hadopp系統(tǒng)部署
修改機(jī)器名:
打開/etc/hostname文件,將/etc/hostname文件中的Ubuntu改為你想取的機(jī)器名。這里我取“s15“。重啟系統(tǒng)后才會生效。
安裝ssh服務(wù):
在terminal窗口中輸入:Sudoaapt-getinstallopenssh-server
建立ssh無密碼登錄本機(jī)
在terminal窗口中輸入:
ssh-keygen-tdsa-P‘’-f~/.ssh/id_dsa
cat~/.ssh/id_dsa.pub》》~/.ssh/authorized_keys
登錄localhost:
在terminal窗口中輸入:bin/start-all.sh
安裝Hadoop:
下載Hadoop安裝包并解壓,打開Hadoop/conf/Hadoop.sh文件,配置conf/Hadoop.sh:找到#exportJAVA_HOME=。。。一行,去掉#,然后加上本機(jī)JDK的路徑。
打開conf/core-site.XML文件,加入如下代碼:
《configuration》
《property》
《name》fs.default.name《/name》
《value》hdfs://localhost:9000《/value》
《/property》
《/configuration》
打開conf/mapred-site.XML文件,編輯如下:
《configuration》
《property》
《name》mapred.job.tracker《/name》
《value》localhost:9001《/value》
《/property》
《/configuration》
打開conf/masters文件和conf/slaves文件,添加secondary的主機(jī)名,作為單機(jī)版環(huán)境,這里只需填寫localhost就Ok了。
到這里Hadoop系統(tǒng)就部署完畢了。調(diào)用bin/start-all.sh命令即可以啟動Hadoop,用JSP命令查看系統(tǒng)狀態(tài),出現(xiàn)如下信息說明系統(tǒng)部署成功:

電子發(fā)燒友App
















評論