淺談攜程在大數(shù)據(jù)平臺(tái)構(gòu)建中遭遇的挑戰(zhàn)
大小:0.07 MB 人氣: 2017-10-11 需要積分:1
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論(0)
標(biāo)簽:大數(shù)據(jù)平臺(tái)(5807)
2016年4月22日-23日,由CSDN重磅打造的數(shù)據(jù)庫(kù)核心技術(shù)與實(shí)戰(zhàn)應(yīng)用峰會(huì)、互聯(lián)網(wǎng)應(yīng)用架構(gòu)實(shí)戰(zhàn)峰會(huì)將在深圳舉行。這是繼3月中旬,SDCC之架構(gòu)&數(shù)據(jù)庫(kù)峰會(huì)在上海圓滿收官后的再一次相聚。上海站上,18位技術(shù)講師給超過500名的現(xiàn)場(chǎng)參會(huì)者帶來了精彩分享,火爆程度超出主辦方想象。
即將到來的SDCC深圳技術(shù)峰會(huì)講師陣容強(qiáng)大,主辦方邀請(qǐng)了來自于百度、阿里、騰訊、滴滴出行、攜程、平安科技、AdMaster、華為、京東、唯品會(huì)、一號(hào)店、中國(guó)電信、閱文集團(tuán)等公司的技術(shù)骨干、首席架構(gòu)師來為與會(huì)者分享演講和交流,必定是一場(chǎng)技術(shù)人的饕餮盛宴?!灸壳跋迺r(shí)6折,點(diǎn)擊這里搶票】
在即將到來的SDCC深圳技術(shù)峰會(huì)召開之際,由CSDN負(fù)責(zé)數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域的小編采訪了一些參會(huì)講師,談?wù)勊麄儗⒃诒敬位顒?dòng)所分享的內(nèi)容。
攜程大數(shù)據(jù)平臺(tái)負(fù)責(zé)人 張翼
本期我們采訪的講師是來自攜程大數(shù)據(jù)平臺(tái)負(fù)責(zé)人 張翼,主要負(fù)責(zé)的是大數(shù)據(jù)平臺(tái)。進(jìn)入互聯(lián)網(wǎng)行業(yè)近10年,從事大數(shù)據(jù)平臺(tái)和架構(gòu)的工作超過6年。對(duì)大數(shù)據(jù)的底層平臺(tái)的構(gòu)建和相關(guān)的技術(shù)有較為深入的研究,對(duì)于數(shù)據(jù)倉(cāng)庫(kù)和機(jī)器學(xué)習(xí)相關(guān)的技術(shù)也有所涉獵。
張翼將在SDCC 2016 深圳站之?dāng)?shù)據(jù)庫(kù)峰會(huì)上分享的主題是 《攜程實(shí)時(shí)大數(shù)據(jù)處理平臺(tái)和實(shí)踐 》,想要知道全部數(shù)據(jù)庫(kù)技術(shù)峰會(huì)講師情況和議題可參見:SDCC深圳站數(shù)據(jù)庫(kù)/大數(shù)據(jù)專場(chǎng)講師議題全公布。
以下是專訪內(nèi)容:
CSDN:首先請(qǐng)簡(jiǎn)單介紹下您和您所在的公司,以及目前所負(fù)責(zé)的領(lǐng)域。
張翼:我叫張翼,浙江大學(xué)畢業(yè),最初的專業(yè)是信息管理,屬于管理學(xué)院,由于喜歡在電腦上搗鼓些東西,也想比較系統(tǒng)地學(xué)習(xí)相關(guān)的知識(shí),所以在大二下半學(xué)期的時(shí)候就轉(zhuǎn)到了軟件工程,真是“一入空門深似?!卑?,研究生畢業(yè)之后在Ebay中國(guó)研發(fā)中心和大眾點(diǎn)評(píng)工作過,目前擔(dān)任攜程大數(shù)據(jù)平臺(tái)的負(fù)責(zé)人,現(xiàn)在看來在互聯(lián)網(wǎng)行業(yè)打拼也有近十年時(shí)間了。
攜程大家應(yīng)該是蠻熟悉了吧,全國(guó)領(lǐng)先的OTA平臺(tái),旅游出行相關(guān)的都可以在上面一站式的完成,從酒店和機(jī)票的預(yù)訂到火車票和汽車票,租車等,只要你能想到的和旅行相關(guān)的所有東西,在攜程上都可以輕松實(shí)現(xiàn)。
目前我在攜程主要負(fù)責(zé)的是大數(shù)據(jù)平臺(tái),是攜程數(shù)據(jù)的基礎(chǔ)架構(gòu)和工具;包括底層計(jì)算和存儲(chǔ)平臺(tái),也包括上層數(shù)據(jù)應(yīng)用相關(guān)的平臺(tái)和工具。
CSDN:您有將近10年的互聯(lián)網(wǎng)從業(yè)經(jīng)驗(yàn),想問下您是如何走上這條技術(shù)之路的?
張翼:前面也提到了,大學(xué)時(shí)比較喜歡計(jì)算機(jī),所以就選擇了軟件工程這個(gè)專業(yè)。最后就沿著這條路一直走下來了,可能源于本身對(duì)于互聯(lián)網(wǎng)和技術(shù)比較感興趣吧。
CSDN:作為攜程大數(shù)據(jù)平臺(tái)的負(fù)責(zé)人,你帶領(lǐng)的團(tuán)隊(duì)在對(duì)大數(shù)據(jù)平臺(tái)的構(gòu)建過程中,遇到了哪些技術(shù)難點(diǎn)和挑戰(zhàn)呢?
張翼:在整個(gè)平臺(tái)構(gòu)建的不同階段,遇到的挑戰(zhàn)是不同的,最初的階段是平臺(tái)的穩(wěn)定性,包括底層計(jì)算和存儲(chǔ)平臺(tái)(Hadoop / Hive / HBase)的穩(wěn)定性以及上層自研發(fā)系統(tǒng),如調(diào)度平臺(tái),報(bào)表平臺(tái)的穩(wěn)定性;對(duì)于前者需要有技術(shù)投入,對(duì)開源系統(tǒng)要有源碼級(jí)的理解,至少能夠在解決遇到的問題時(shí)做到臨危不亂,有路可循;另外就是一個(gè)好的運(yùn)維自動(dòng)化和監(jiān)控的體系和工具是非常有幫助的;對(duì)于自研的系統(tǒng),一開始的設(shè)計(jì)一定要做好,一個(gè)正確的假設(shè),好的設(shè)計(jì)對(duì)穩(wěn)定性至關(guān)重要。
在穩(wěn)定性的問題初步解決之后,我們面臨的挑戰(zhàn)就是如何緊密結(jié)合業(yè)界的發(fā)展和公司實(shí)際的需求,真正將一些好用的框架落地下去,支持公司數(shù)據(jù)分析和挖掘的需求是一個(gè)很大的挑戰(zhàn),我的經(jīng)驗(yàn)是一開始的時(shí)候面不能鋪的太開,想要面面俱到往往各個(gè)方向的效果都不是那么理想,結(jié)合目前技術(shù)大的趨勢(shì)和公司最迫切的需求,選擇1-2個(gè)方面,以實(shí)際業(yè)務(wù)能落地的例子開始嘗試,往往能夠取得比較好的效果。
CSDN:我們都知道,攜程是國(guó)內(nèi)領(lǐng)先的在線票務(wù)服務(wù)公司,能否介紹下大數(shù)據(jù)的平臺(tái)構(gòu)建給攜程帶來了哪些好處?
張翼:大數(shù)據(jù)的應(yīng)用現(xiàn)在已經(jīng)深入攜程的方方面面,從最為普通的數(shù)據(jù)報(bào)表到結(jié)合業(yè)務(wù)的復(fù)雜的機(jī)器學(xué)習(xí)的應(yīng)用;數(shù)據(jù)已經(jīng)深入到公司運(yùn)行的方方面面;統(tǒng)一的大數(shù)據(jù)平臺(tái)的構(gòu)建給各個(gè)業(yè)務(wù)部門開發(fā)自己相關(guān)的數(shù)據(jù)應(yīng)用提供了堅(jiān)實(shí)的技術(shù)的保證,他們更多只需要關(guān)系于業(yè)務(wù)的邏輯的處理和分析,提高了整體數(shù)據(jù)開發(fā)的效率。
CSDN:那么,能否簡(jiǎn)單介紹下,攜程大數(shù)據(jù)平臺(tái)在未來的規(guī)劃和發(fā)展方向又是什么呢?
張翼:在技術(shù)上,首先我們準(zhǔn)備更多地?fù)肀park,目前Spark主要的使用場(chǎng)景還是集中在機(jī)器學(xué)習(xí)相關(guān)的方面,未來我們會(huì)嘗試在ETL等方面嘗試使用Spark(或是Hive on Spark),以獲得更高的計(jì)算效率,另外,在實(shí)時(shí)方面Spark 2.0之后,它的實(shí)時(shí)模型得到了很大的進(jìn)化,我們會(huì)考慮將它作為實(shí)時(shí)計(jì)算引擎之一引入我們的實(shí)時(shí)計(jì)算平臺(tái);其次,我們會(huì)關(guān)注一下其他開源的“新”項(xiàng)目,如Kudo,F(xiàn)link,希望和現(xiàn)在的平臺(tái)結(jié)合給攜程的數(shù)據(jù)使用和分析的同學(xué)提供更多可能。
除了在技術(shù)上的提升,我們也希望在一些特定的領(lǐng)域把一些經(jīng)驗(yàn)和知識(shí)通過程序固化下來,開發(fā)相對(duì)通用的業(yè)務(wù)支持的平臺(tái)和數(shù)據(jù)產(chǎn)品,更好地服務(wù)公司的業(yè)務(wù)。
CSDN:回顧您在互聯(lián)網(wǎng)這個(gè)行業(yè)從業(yè)以來,有哪些心得和體會(huì)可和我們分享的?
張翼:和大家分享一下一點(diǎn)我的體會(huì)吧,就是不滿足現(xiàn)狀,不斷嘗試新的東西,提高自己各方面的能力;工作進(jìn)行了一段時(shí)間之后,大家總會(huì)進(jìn)入一個(gè)舒適區(qū),在這些時(shí)候你可以考慮下,這是不是你所追求的,你是否還能做得更好或是更多,這樣你就會(huì)嘗試去學(xué)習(xí)新的東西,嘗試新的領(lǐng)域,開始去尋找新的挑戰(zhàn),不需要把自己逼得太急,可以按照自己的節(jié)奏去進(jìn)行,只要這樣做一段時(shí)間之后就一定會(huì)有收獲,不滿足的初心非常重要。
CSDN:您認(rèn)為要想成為一名優(yōu)秀的技術(shù)人員身上該具備哪些素質(zhì)?
張翼:首先最重要的是對(duì)技術(shù)要有激情,有熱情,能夠主動(dòng)去學(xué)習(xí)自己感興趣的技術(shù),做深做透。
其次是基礎(chǔ)需要過硬,如掌握至少的語(yǔ)言,對(duì)于計(jì)算機(jī)學(xué)科的相關(guān)知識(shí),如操作系統(tǒng),數(shù)據(jù)結(jié)構(gòu)與算法,設(shè)計(jì)模式等能夠熟練掌握。
再次就是溝通協(xié)調(diào),項(xiàng)目管理等軟性能力,以及個(gè)人管理的一些技能,如時(shí)間管理的能力
哈哈,有點(diǎn)說的像是招聘的JD。
CSDN:在本次SDCC 2016(深圳站)數(shù)據(jù)庫(kù)峰會(huì)上,您分享的話題是?
張翼:在本次的數(shù)據(jù)庫(kù)峰會(huì)上,我分享的話題是攜程實(shí)時(shí)計(jì)算平臺(tái)的實(shí)踐;我將會(huì)和大家分享一下我們是如何一步一步構(gòu)建起實(shí)時(shí)分析的平臺(tái),我們現(xiàn)在調(diào)研的方向和工作,以及未來的方向。
CSDN:您最期待在SDCC 2016(深圳站)峰會(huì)上看到哪些內(nèi)容?
張翼:非常高興能夠有幸被邀請(qǐng)參加這次的峰會(huì),第一天大數(shù)據(jù)相關(guān)的內(nèi)容也是干貨滿滿,希望和廣大同行多多交流,互相學(xué)習(xí)。
?
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
淺談攜程在大數(shù)據(jù)平臺(tái)構(gòu)建中遭遇的挑戰(zhàn)下載
相關(guān)電子資料下載
- 航天宏圖智慧生態(tài)大數(shù)據(jù)平臺(tái)提高生態(tài)保護(hù)紅線監(jiān)管工作效率 672
- 【節(jié)能學(xué)院】淺談打造泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái) 149
- 智慧交通大數(shù)據(jù)平臺(tái)及視頻AI分析采購(gòu) 200
- 淺談打造泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái) 219
- 基于kube-prometheus的大數(shù)據(jù)平臺(tái)監(jiān)控系統(tǒng)設(shè)計(jì) 262
- 智慧農(nóng)業(yè)大數(shù)據(jù)平臺(tái)的“智慧”體現(xiàn)在哪些方面? 226
- IBM最新發(fā)布企業(yè)級(jí) AI 與數(shù)據(jù)平臺(tái) watsonx 296
- 廣立微大數(shù)據(jù)平臺(tái)全線升級(jí) 為芯片全生命周期保駕護(hù)航 650
- 大數(shù)據(jù)平臺(tái)有哪些 大數(shù)據(jù)技術(shù)應(yīng)用有哪些 7749
- 光點(diǎn)科技農(nóng)業(yè)農(nóng)村領(lǐng)域信用大數(shù)據(jù)平臺(tái)解決方案入選“2022廣東省政務(wù)服務(wù)創(chuàng)新 466