昨天，技術(shù)圈又出了攪動(dòng)全技術(shù)人的一次重大技術(shù)故障。記得上一次是攜程2015年癱瘓了11小時(shí)，損失高達(dá)7000W+。

阿里云是國(guó)內(nèi)最大的云服務(wù)商，服務(wù)著制造、金融、政務(wù)、交通、醫(yī)療、電信、能源等眾多領(lǐng)域的領(lǐng)軍企業(yè)，包括中國(guó)聯(lián)通、12306、中石化、中石油、飛利浦、華大基因等大型企業(yè)客戶(hù)，以及微博、知乎、錘子科技等明星互聯(lián)網(wǎng)公司。在天貓雙11全球狂歡節(jié)、12306春運(yùn)購(gòu)票等極富挑戰(zhàn)的應(yīng)用場(chǎng)景中，阿里云保持著良好的運(yùn)行紀(jì)錄。

6月27日下午，阿里云出現(xiàn)重大技術(shù)故障，故障于北京時(shí)間2018年6月27日，16：21左右開(kāi)始，16：50分開(kāi)始陸續(xù)恢復(fù)。官方給出的故障時(shí)間大概持續(xù)30分鐘，陸續(xù)恢復(fù)時(shí)間有一個(gè)小時(shí)多。

在6月27日凌晨時(shí)分，阿里云給了官方說(shuō)明，最后官方給出的說(shuō)明是：“我們?cè)谶\(yùn)維上的一個(gè)操作失誤，導(dǎo)致一些客戶(hù)訪(fǎng)問(wèn)阿里云官網(wǎng)控制臺(tái)和使用部分產(chǎn)品功能出現(xiàn)問(wèn)題?！币l(fā)了大量吐槽。

對(duì)于此故障的原因，網(wǎng)上傳的各種版本都有，傳的最多的是以下2個(gè)版本:

網(wǎng)上流傳故障原因版本一

網(wǎng)上流傳故障原因版本二

小編邀請(qǐng)?jiān)缊F(tuán)點(diǎn)評(píng)運(yùn)維架構(gòu)師&馬哥教育聯(lián)合創(chuàng)始人張sir對(duì)本次故障解讀：

“至于實(shí)習(xí)生誤刪登陸服務(wù)之說(shuō)，應(yīng)該是不存在的，一方面，大型互聯(lián)網(wǎng)公司尤其是阿里云這樣的公司，對(duì)工程師權(quán)限有著極為嚴(yán)格的控制，因?yàn)榘⒗镌茢?shù)十萬(wàn)臺(tái)服務(wù)器，支撐了全國(guó)各行各業(yè)千億以上規(guī)模的線(xiàn)上業(yè)務(wù)，不可能讓實(shí)習(xí)生不熟悉的情況下，給予過(guò)高的管理權(quán)限。這是極其不專(zhuān)業(yè)的做法"

”對(duì)于版本二的說(shuō)法，說(shuō)的比較含糊和籠統(tǒng)，我通過(guò)內(nèi)部了解到原因：”

"這個(gè)說(shuō)法跟阿里云官方通告是比較符合的，本次故障的嚴(yán)重程度是非常高的，故障級(jí)別定義在S1級(jí)別，整個(gè)阿里集團(tuán)的核心業(yè)務(wù)，以及依托阿里云的公司，很多都受了影響。"

"對(duì)于企業(yè)來(lái)說(shuō)，上線(xiàn)都是開(kāi)發(fā)-測(cè)試-上線(xiàn)大致都是以下這樣的流程，通常開(kāi)發(fā)會(huì)開(kāi)發(fā)出來(lái)程序，然后交給測(cè)試工程師，測(cè)試工程師測(cè)試完成后，后提交給運(yùn)維工程師進(jìn)行線(xiàn)上服務(wù)配置以及業(yè)務(wù)上線(xiàn)。"

“本次故障，阿里官方說(shuō)明：工程師團(tuán)隊(duì)，在上線(xiàn)一次自動(dòng)化運(yùn)維新功能的時(shí)候，執(zhí)行了一項(xiàng)變更驗(yàn)證操作，這一項(xiàng)功能在測(cè)試環(huán)境驗(yàn)證中未出現(xiàn)問(wèn)題，上線(xiàn)生產(chǎn)環(huán)境中，觸發(fā)了一個(gè)未知的bug。這個(gè)bug后來(lái)通過(guò)阿里的同學(xué)證實(shí)：具體原因是一個(gè)核心的應(yīng)用在拉VIP列表的時(shí)候，返回了空列表，這就會(huì)導(dǎo)致上千VIP被禁用了。VIP = Virtual IP Address，虛擬IP地址，主要作用為集群的負(fù)載均衡的入口地址，可通過(guò)一個(gè)VIP的地址，實(shí)現(xiàn)一組業(yè)務(wù)的訪(fǎng)問(wèn)，通常也叫集群負(fù)載均衡技術(shù)。VIP是集群業(yè)務(wù)的入口，如果數(shù)千個(gè)VIP被禁用了，可能后端上萬(wàn)臺(tái)的服務(wù)、應(yīng)用、數(shù)據(jù)庫(kù)等將直接無(wú)法訪(fǎng)問(wèn)，本次故障盲點(diǎn)，是測(cè)試通過(guò)了，在生產(chǎn)環(huán)境觸發(fā)了一個(gè)未知bug，導(dǎo)致核心應(yīng)用在拉取VIP列表時(shí)，為空了，導(dǎo)致內(nèi)部的上千臺(tái)負(fù)載均衡不可用，從而后端的應(yīng)用也不可達(dá)?！?/p>

"如圖所示，對(duì)于大型互聯(lián)網(wǎng)公司，運(yùn)維技術(shù)架構(gòu)都是多層機(jī)構(gòu)。在內(nèi)部負(fù)載均衡上配置的VIP如果不可達(dá)的話(huà)，后端的service層和數(shù)據(jù)庫(kù)等內(nèi)容，都是不可達(dá)的，這也是為什么故障的時(shí)候，頁(yè)面能打開(kāi)，但是報(bào)錯(cuò)為502故障，502錯(cuò)誤一般常為后端服務(wù)器不可用，這也說(shuō)明了故障的根源所在。阿里的運(yùn)維團(tuán)隊(duì)故障響應(yīng)還是比較給力的，數(shù)千個(gè)VIP配置錯(cuò)誤，在半小時(shí)內(nèi)從發(fā)現(xiàn)，到定位，到故障排除，以及解決，還是挺快的。”

“在一個(gè)龐大復(fù)雜的架構(gòu)體系中，會(huì)涉及到成千上萬(wàn)的配置以及幾十種技術(shù)的應(yīng)用，有時(shí)候可能因?yàn)橐粭l配置的錯(cuò)誤，會(huì)導(dǎo)致整個(gè)服務(wù)崩盤(pán)。而出故障時(shí)，一位優(yōu)秀的運(yùn)維工程師，可為公司挽回巨大損失。運(yùn)維工程師目前已經(jīng)是各家互聯(lián)網(wǎng)公司必不可少的重要崗位，是要求有極高的技術(shù)能力和心理素質(zhì)（當(dāng)出現(xiàn)故障時(shí)，耽誤一分鐘損失上百萬(wàn)的時(shí)候，那種壓力是常人無(wú)法理解的），所以這也是，為什么業(yè)內(nèi)優(yōu)秀的運(yùn)維工程師是比較稀缺的。一個(gè)優(yōu)秀的運(yùn)維工程師或者云計(jì)算工程師，是需要不斷的提升和學(xué)習(xí)，因?yàn)楣镜臉I(yè)務(wù)需要不斷的完善架構(gòu)體系，保障服務(wù)正常運(yùn)行，以及服務(wù)性能和工作效率不斷的優(yōu)化和改進(jìn)?！?/p>

阿里云對(duì)于本次故障，還是非常坦誠(chéng)的：

"對(duì)于這次故障，沒(méi)有借口，我們不能也不該出現(xiàn)這樣的失誤！我們將認(rèn)真復(fù)盤(pán)改進(jìn)自動(dòng)化運(yùn)維技術(shù)和發(fā)布驗(yàn)證流程，敬畏每一行代碼，敬畏每一份托付。"

此次阿里云重大故障，網(wǎng)友們紛紛討論，運(yùn)維都要背鍋啦。其實(shí)，運(yùn)維工程師這個(gè)群體，比你想象的要厲害，如果不是他們?yōu)榛ヂ?lián)網(wǎng)的業(yè)務(wù)保駕護(hù)航，可能故障遠(yuǎn)不止此。所以，對(duì)于錯(cuò)誤，我們應(yīng)該包容，錯(cuò)誤是成長(zhǎng)的必經(jīng)之路，更何況，人非圣賢孰能無(wú)過(guò)？