1 引言

　　高可靠性軟件泛指一類軟件：該類軟件運行過程中若出現(xiàn)故障會引發(fā)重大災(zāi)難性事故或經(jīng)濟損失。通常航天型號軟件、銀行系統(tǒng)軟件、醫(yī)療行業(yè)軟件、通訊行業(yè)軟件等均屬此范疇。目前，越來越多的軟件企業(yè)涉及高可靠性軟件項目，如何保證軟件質(zhì)量成為眾多企業(yè)面臨的一個很重要的課題。這篇文章結(jié)合某航天項目地面應(yīng)用系統(tǒng)模型(本文命名為CraftGS)，重點討論如何從軟件測試的角度保證此類產(chǎn)品的軟件質(zhì)量。

　　2 CraftGS項目簡介

　　CraftGS是一個很經(jīng)典的衛(wèi)星地面應(yīng)用系統(tǒng)模擬項目。它分為5個子系統(tǒng)：數(shù)據(jù)接收子系統(tǒng)(DAS)、數(shù)據(jù)預(yù)處理子系統(tǒng)(DPS)、運行管理子系統(tǒng)(OMS)、數(shù)據(jù)管理子系統(tǒng)(DMS)以及數(shù)據(jù)產(chǎn)品實現(xiàn)(DPRS)子系統(tǒng)。CraftGS的總體可靠度要求是0.95。各分系統(tǒng)分配到的可靠度指標(biāo)是如下：

　　分系統(tǒng)名 可靠度指標(biāo)

　　DAS 0.99994

　　DPS 0.99865

　　OMS 0.99910

　　DMS 0.99950

　　DPRS 0.99502

　　CraftGS的業(yè)務(wù)邏輯是Data Package從衛(wèi)星傳入DAS，DAS負(fù)責(zé)解包，將解包后數(shù)據(jù)傳入OMS及DPS，OMS通過DAS傳來的數(shù)據(jù)檢測衛(wèi)星是否正常運行并負(fù)責(zé)衛(wèi)星飛行姿態(tài)調(diào)整;DPS負(fù)責(zé)調(diào)制DAS傳來的數(shù)據(jù)，轉(zhuǎn)換成有意義的邏輯數(shù)據(jù)。DPS處理后的邏輯數(shù)據(jù)傳入DMS以及DPRS。其中DMS負(fù)責(zé)數(shù)據(jù)備份、數(shù)據(jù)查詢及數(shù)據(jù)鏈路維護(hù)等操作;DPRS負(fù)責(zé)將DPS處理過的邏輯數(shù)據(jù)分門別類地轉(zhuǎn)換成數(shù)據(jù)產(chǎn)品，并封裝發(fā)布。

　　考慮到項目固有的可靠性安全性要求，CraftGS系統(tǒng)采用Java+Unix技術(shù)架構(gòu)實現(xiàn)。該架構(gòu)從編程語言級和系統(tǒng)級對軟件產(chǎn)品質(zhì)量做了保證。為了控制軟件產(chǎn)品開發(fā)過程中的質(zhì)量，筆者推薦采用如下軟件測試方案。

　　3 測試方案：軟件驗證技術(shù)+軟件確認(rèn)技術(shù)+軟件測試管理

　　CraftGS系統(tǒng)的軟件測試方案由三個部分組成，即軟件驗證技術(shù)、軟件確認(rèn)技術(shù)和軟件測試管理技術(shù)。它們內(nèi)涵及相互之間的關(guān)系如下圖所示：YSR中國可靠性資源網(wǎng)

　　CraftGS測試方案

　　測試技術(shù)層面 測試管理層面

　　軟件驗證技術(shù) 需求規(guī)格說明驗證 軟件測試團(tuán)隊組織管理

　　設(shè)計規(guī)格說明驗證

　　代碼驗證 軟件測試計劃管理

　　交付驗證

　　軟件確認(rèn)技術(shù) 單元測試 軟件缺陷(錯誤)跟蹤管理

　　集成測試

　　系統(tǒng)測試 軟件測試件管理

　　交付測試

　　YSR中國可靠性資源網(wǎng)

　　其中，軟件驗證技術(shù)著眼于排除軟件開發(fā)文檔中的錯誤。驗證活動涉及的文檔按開發(fā)流程主要涉及需求規(guī)格說明、設(shè)計規(guī)格說明(包括概要設(shè)計規(guī)格說明、詳細(xì)設(shè)計規(guī)格說明、數(shù)據(jù)庫設(shè)計規(guī)格說明)、編碼規(guī)格說明、產(chǎn)品交付文檔等一系列書面材料。目前驗證技術(shù)的實施在很大程度上是依靠測試人員手工完成的。驗證活動視實際需要有時還會涉及到開發(fā)人員和目標(biāo)客戶，需要得到他們必要的理解和支持。驗證測試采用的主要測試手段有：面對面質(zhì)詢、文檔抽查、非正式會議、同行評審等等。

　　相對于軟件驗證技術(shù)，軟件確認(rèn)技術(shù)則主要著眼于排除程序代碼中的錯誤。活動涉及的對象主要是程序部件的代碼或軟件成品。在實施過程中，常常按被測代碼的規(guī)模和測試所處的層次將軟件確認(rèn)測試分為四個階段，即：單元測試(也叫類測試)、集成測試(也叫組裝測試)、系統(tǒng)測試和交付測試。確認(rèn)測試基本上由軟件測試人員對照相關(guān)開發(fā)文檔運行程序獨立完成的。必要時，也可讓設(shè)計人員帶領(lǐng)測試人員閱讀程序代碼共同發(fā)現(xiàn)其中的錯誤，(即所謂代碼評審會)。有意見認(rèn)為，在單元測試(或類測試)階段，應(yīng)該有軟件編碼人員參與，這樣能減輕測試人員閱讀代碼障礙。原則上，測試?yán)碚摬惶岢绦蜃髡哓?fù)責(zé)把關(guān)自己編寫的程序的質(zhì)量。在實際實施過程中，可視實際情況靈活處理。(如成對編程可能會較好的處理單元測試這個難題，上面提到的代碼評審會也是為應(yīng)對這個難題而想出的一個好辦法。)，軟件確認(rèn)技術(shù)目前已經(jīng)部分地實現(xiàn)了測試工具的自動化，市面上已有不少自動化工具能在測試人員的輔助下完成相應(yīng)的測試工作(例如用于Java代碼單元測試的Junit工具，又如用于GUI測試的Rational Visual Test工具，等等)。

　　軟件驗證技術(shù)和軟件確認(rèn)技術(shù)均屬于測試技術(shù)層面的東西。然而對于工程質(zhì)量的保證而言，光靠軟件測試技術(shù)還遠(yuǎn)遠(yuǎn)不夠，還需要技術(shù)管理層面上的東西。軟件測試管理技術(shù)的誕生正是為彌補這個不足。按照管理的對象不同，測試管理技術(shù)大致涵蓋軟件測試團(tuán)隊組織管理、軟件測試計劃管理、軟件缺陷(錯誤)跟蹤管理以及軟件測試件管理四大部分。下面，筆者將結(jié)合CraftGS項目對該測試方案做一個詳細(xì)的詮釋。

　　4 在CraftGS項目中具體應(yīng)用上述測試方案

　　CraftGS五個分系統(tǒng)的開發(fā)過程均在CraftGS測試團(tuán)隊的質(zhì)量控制下有序進(jìn)行，嚴(yán)格地實施了上述測試方案。經(jīng)專家評定，各分系統(tǒng)及最后集成后的系統(tǒng)總體均達(dá)到了任務(wù)書中所分配的可靠性指標(biāo)。

　　4.1 在CraftGS項目中應(yīng)用軟件驗證技術(shù)

　　CraftGS項目中應(yīng)用的軟件驗證技術(shù)主要包括需求規(guī)格說明驗證、設(shè)計規(guī)格說明驗證、代碼驗證以及交付驗證。以下逐一說明。

　　需求規(guī)格說明驗證的主要任務(wù)是保證用戶的功能需求、業(yè)務(wù)需求、以及其他的一些需求(如非功能性需求、約束性需求等等)都已經(jīng)被分配到軟件需求規(guī)格說明的各需求項中。

　　設(shè)計規(guī)格說明驗證相對需求規(guī)格說明驗證而言，稍微復(fù)雜些，它包括3個部分的內(nèi)容：即概要設(shè)計規(guī)格說明驗證、詳細(xì)設(shè)計規(guī)格說明驗證以及數(shù)據(jù)庫設(shè)計規(guī)格說明驗證。其中概要設(shè)計規(guī)格說明驗證的主要任務(wù)是確保軟件需求規(guī)格說明中的需求項全部已經(jīng)分配到了概要設(shè)計規(guī)格說明的各軟件模塊之中并且無多余物，詳細(xì)設(shè)計規(guī)格說明驗證的主要任務(wù)是確保概要設(shè)計規(guī)格說明中的模塊已經(jīng)全部分配到詳細(xì)設(shè)計規(guī)格說明的各軟件單元之中并且無多余物，數(shù)據(jù)庫設(shè)計規(guī)格說明雖然從范疇上講應(yīng)該屬于詳細(xì)設(shè)計規(guī)格說明范疇，但筆者認(rèn)為因改把它獨立出來實施驗證活動。(數(shù)據(jù)庫設(shè)計和軟件設(shè)計畢竟有很多不同之處。)數(shù)據(jù)庫設(shè)計規(guī)格說明驗證的重點任務(wù)是驗證數(shù)據(jù)庫與外部應(yīng)用程序的接口是否正確、數(shù)據(jù)操作實現(xiàn)界面是否清晰、數(shù)據(jù)庫整體設(shè)計是否合理、數(shù)據(jù)表設(shè)計是否符合3NF要求(如違反范式要說明詳細(xì)理由)以及數(shù)據(jù)表中的字段(鍵)和索引的設(shè)計是否高效合理等等。完成設(shè)計規(guī)格說明以后，下一步要做代碼驗證。

　　代碼驗證的內(nèi)容包括：代碼編寫規(guī)范審查、代碼審查和代碼靜態(tài)分析三個部分。代碼編寫規(guī)范審查主要是審核代碼排版的格式以及注解的格式是否符合開發(fā)團(tuán)隊的相應(yīng)規(guī)范;代碼審查的任務(wù)主要是驗證詳細(xì)設(shè)計中的軟件單元是否都已被代碼覆蓋并正確實現(xiàn)，并且代碼中不含冗余物;代碼靜態(tài)分析技術(shù)主要任務(wù)是檢查變量或標(biāo)號的定義與使用、表達(dá)式運算以及程序的流程設(shè)計上是否存在缺陷或錯誤。

　　做完代碼驗證以后，軟件系統(tǒng)需要依次做單元測試、集成測試和系統(tǒng)測試，這部分內(nèi)容屬軟件確認(rèn)技術(shù)范疇，下面有專門的論述。軟件系統(tǒng)在做完系統(tǒng)測試后，就面臨著交付使用的問題，在系統(tǒng)正式移交給用戶之前，還需要做交付驗證和交付測試。交付測試技術(shù)下文有專門的論述，不贅述，這里主要談交付驗證技術(shù)。交付驗證包括安裝驗證和使用驗證兩部分內(nèi)容。其中，安裝驗證的主要任務(wù)是保證程序能按照用戶手冊的提示正確安裝到目標(biāo)機器上，使用驗證的主要任務(wù)是確保程序能按照用戶手冊的提示的操作正確完成某項功能或事務(wù)處理。這兩部分工作通常是由測試人員完成的，用以核實相關(guān)安裝和使用手冊是否正確無誤。

　　4.2 在CraftGS項目中應(yīng)用軟件確認(rèn)技術(shù)

　　CraftGS中應(yīng)用的軟件確認(rèn)技術(shù)包括單元測試技術(shù)、集成測試技術(shù)、系統(tǒng)測試技術(shù)和交付測試技術(shù)。

　　其中單元測試的主要任務(wù)是驗證詳細(xì)設(shè)計規(guī)格說明中所劃分出來的軟件單元是否被程序編制人員用代碼形式正確地實現(xiàn)了。這里軟件單元可能是某個函數(shù)(或稱方法)也可能是某個抽象數(shù)據(jù)類型(如類、數(shù)據(jù)結(jié)構(gòu)或者模板)。單元測試在實際測試當(dāng)中也常常被稱為類測試(在面向?qū)ο蟮脑O(shè)計中)或白盒測試(白盒的意思是面向代碼)。單元測試的工作原理是建構(gòu)樁模塊和驅(qū)動模塊以驅(qū)動被測單元運行，然后，測試人員輸入設(shè)計好的測試用例，測試被測單元能否按照設(shè)計要求處理這些測試用例，對出現(xiàn)異常的測試用例，測試人員應(yīng)做記載并反饋給軟件開發(fā)團(tuán)隊。

　　做完單元測試以后，下一步的工作是對照軟件概要設(shè)計規(guī)格說明，驗證各軟件單元組裝后形成模塊能否達(dá)到概要設(shè)計規(guī)格說明中模塊的設(shè)計目標(biāo);在模塊級集成工作完成之后，測試人員還應(yīng)測試各模塊組裝后形成的用戶系統(tǒng)內(nèi)部存在沖突，各模塊能否正常工作。這里，模塊可能是指某個軟件部件，也可能是指某個或某幾個分系統(tǒng)。通常在做集成測試時先是從分系統(tǒng)內(nèi)部的集成測試開始做起，做完以后再測試各分系統(tǒng)是否能集成為最終要實現(xiàn)的大系統(tǒng)。也有其他做法(如自頂向下集成測試方法、核心系統(tǒng)先做集成測試或每日集成測試等等)?？傊f變不離其宗。集成測試要保證模塊的內(nèi)部正確性以及保證模塊能最終集成為大系統(tǒng)。集成測試有時也被稱為組裝測試(在型號軟件中)或灰盒測試(有人認(rèn)為集成測試介于白盒與黑盒之間)。

　　做完集成測試以后，下一步工作就是做系統(tǒng)測試。系統(tǒng)測試的主要任務(wù)是驗證經(jīng)集成測試后形成的軟件系統(tǒng)是否滿足軟件需求規(guī)格說明中的各需求項。這些需求項包括：業(yè)務(wù)需求、功能需求、非功能性需求(如：性能、可靠性、安全性、系統(tǒng)維護(hù)等方面的要求)以及一些約束性需求(如開發(fā)標(biāo)準(zhǔn)、編程語言、通訊協(xié)議)等等。由于需求項涉及的領(lǐng)域很廣泛，這就導(dǎo)致了系統(tǒng)測試中對應(yīng)的測試門類相當(dāng)龐雜。如：功能測試、執(zhí)行路徑測試、可靠性測試、壓力測試、可恢復(fù)性測試、可移植性測試等等。這些測試最顯著的特征是在一定環(huán)境條件下(如：模擬現(xiàn)場或極端條件)，設(shè)計各種測試用例，輸入并運行完整的軟件系統(tǒng)，根據(jù)軟件系統(tǒng)運行過程中的實際表現(xiàn)，評估軟件系統(tǒng)是否符合軟件需求項的各類要求。由于這類測試一般不涉及內(nèi)部代碼，因此，也有人把系統(tǒng)測試稱做是黑盒測試。

　　在做完系統(tǒng)測試以后，軟件產(chǎn)品就到了交付用戶使用這個階段了。交付過程中的重要一環(huán)就是交付測試，交付測試的目標(biāo)是保證用戶對所交付的系統(tǒng)的滿意。與前面所討論的測試不同，交付測試主要的參與者應(yīng)該是目標(biāo)客戶?？蛻魠⑴c越多越好。交付測試的內(nèi)容一般包括安裝測試、可用性測試、alpha測試、beta測試等。其中安裝測試的主要任務(wù)是測試軟件系統(tǒng)能否在模擬環(huán)境下或?qū)嶋H現(xiàn)場由目標(biāo)用戶順利完成在目標(biāo)機器上的安裝;可用性測試的主要任務(wù)是測試軟件系統(tǒng)在完成安裝以后能否完成用戶的模擬任務(wù)或現(xiàn)場任務(wù);alpha測試采用的形式一般是由一個用戶在開發(fā)環(huán)境下對軟件系統(tǒng)進(jìn)行類似于黑盒的測試，測試的目的是從用戶的角度評價軟件產(chǎn)品的功能、可使用性、可靠性、性能和支持，尤其注重產(chǎn)品的界面和特色;beta測試采用的形式一般是先由軟件的多個用戶在實際使用環(huán)境下使用beta版軟件系統(tǒng)一段時間，然后把使用中出現(xiàn)的各類故障或缺陷反饋給beta測試負(fù)責(zé)人員，再由測試負(fù)責(zé)人員移交給軟件開發(fā)者，由開發(fā)人員負(fù)責(zé)修正并完善軟件系統(tǒng)。Beta測試的目的是確保軟件產(chǎn)品交付給全體用戶之前能部分或全面地修正其在實際應(yīng)用中可能出現(xiàn)的各類BUG或不足。

　　4.3 在CraftGS項目中應(yīng)用軟件測試管理技術(shù)

　　一如前文所述，測試技術(shù)解決了測試采用的方法和技術(shù)問題，然而，對于一個工程而言，還需要相應(yīng)的測試管理才能保證各項測試活動的有序開展。因此，在CraftGS項目中，軟件測試管理技術(shù)要解決的問題是如何確保軟件測試技術(shù)(包括軟件驗證技術(shù)和軟件確認(rèn)技術(shù))能在軟件項目在軟件生命內(nèi)得到順利實施，并產(chǎn)生預(yù)期的效果。

　　按照軟件測試管理面對的管理對象的差異，軟件測試管理技術(shù)大致分為軟件測試團(tuán)隊組織管理、軟件測試計劃管理、軟件缺陷(錯誤)跟蹤管理以及軟件測試件管理四大部分。以下一一詮釋：

　　軟件測試團(tuán)隊組織管理通俗地講就是測試團(tuán)隊?wèi)?yīng)該如何組建。在實際項目開發(fā)中，我們常?？吹接行﹩挝缓鲆暅y試團(tuán)隊存在的意義，當(dāng)要實施測試時，往往臨時找?guī)讉€程序員充當(dāng)測試人員;也有些單位盡管認(rèn)識到了組建測試團(tuán)隊的重要性，但在具體落實的時候往往安排一些毫無開發(fā)經(jīng)驗的行業(yè)新手去做測試工作，這常常導(dǎo)致測試效率的低下，測試人員對測試工作索然無味。CraftGS項目的測試團(tuán)隊首先聘有一名資深的測試領(lǐng)域?qū)＜遥哂袠O為豐富的航天項目軟件測試經(jīng)驗，對軟件開發(fā)過程中常見的缺陷或錯誤了然于胸，此外，他還具有較好的親和力和人格魅力。其次，CraftGS項目測試團(tuán)隊還具有很多具備一技之長的成員，如對某些自動化測試工具運用嫻熟或能輕而易舉地編寫自動化測試腳本。另外，測試團(tuán)隊還聘有兼職成員。如驗證測試實施過程中，同行評審是最常使用的一種形式，這些同行專家就屬于兼職測試團(tuán)隊成員的范疇。至于測試團(tuán)隊里里的測試新手，這部分人可以安排去從事交付驗證或黑盒測試之類的工作。

　　軟件測試計劃管理通俗地講就是安排好測試流程。這部分內(nèi)容具體涵蓋軟件測試策劃、軟件測試技術(shù)剪裁、測試進(jìn)度管理、成本管理等幾個部分。其中測試策劃工作主要是指具體測試活動實施之前做好策劃工作，如起草測試大綱以及測試計劃;軟件測試技術(shù)剪裁工作主要是指測試團(tuán)隊?wèi)?yīng)根據(jù)軟件項目的具體實際剪裁出所要實施的測試技術(shù);測試進(jìn)度管理工作主要是指排出各項測試的時間進(jìn)度及人員安排，如有變動時應(yīng)做相應(yīng)調(diào)整;測試成本管理工作的內(nèi)容即開列出測試活動中會涉及到的資源需求。CraftGS項目測試團(tuán)隊較好地按照上述要求，完成了軟件測試計劃管理。

　　軟件缺陷(錯誤)跟蹤管理通俗地講就是確保發(fā)現(xiàn)的缺陷(錯誤)已經(jīng)被開發(fā)團(tuán)隊糾正或處理過并且沒有引入新的缺陷(錯誤)。具體來講，當(dāng)測試團(tuán)隊通過各種途徑發(fā)現(xiàn)了文檔或代碼中的缺陷或錯誤以后，并不是交一份測試報告就草草了事，而是在遞交報告以后繼續(xù)督促開發(fā)團(tuán)隊及時關(guān)閉已知缺陷或錯誤(當(dāng)然，如有必要應(yīng)對這些缺陷、錯誤做嚴(yán)重程度排序，以便開發(fā)團(tuán)隊能視輕重緩急安排處理順序)。當(dāng)開發(fā)團(tuán)隊關(guān)閉了測試報告中的缺陷(錯誤)以后，測試團(tuán)隊還需驗證開發(fā)團(tuán)隊在關(guān)閉過程中有沒有引入新的錯誤。通常，這個過程稱為回歸測試。回歸測試如發(fā)現(xiàn)問題，繼續(xù)報開發(fā)團(tuán)組，按上述流程循環(huán)，直至回歸測試最終通過。這部分工作在CraftGS項目中是使用自動化的測試管理工具完成的，(市面上可選擇的工具有華創(chuàng)缺陷管理系統(tǒng)(BMS) 和Rational ClearQuest等等)，這么做非常有效率。

　　軟件測試件管理通俗地講就是指努力建設(shè)好測試團(tuán)隊的財富庫并對測試團(tuán)隊成員進(jìn)行技能培訓(xùn)以幫助他們能使用好這個財富庫。這里，財富庫是指軟件測試件。測試件(Testware，指測試工作形成的產(chǎn)品)是一個不常見到的詞匯，它包括是測試團(tuán)隊在長期實踐過程中逐步積累起來的經(jīng)驗教訓(xùn)、測試技巧、測試工具、規(guī)格文檔以及一些經(jīng)過少量修改能推廣至通用的測試腳本程序。測試件管理工作做得越好，測試團(tuán)隊在實際測試過程中就能越少走彎路，測試團(tuán)隊內(nèi)部的知識交流和傳遞就越充分，測試腳本或規(guī)格文檔的重復(fù)開發(fā)工作也就能被有效地避免。軟件測試件管理工作包括兩部分，一是建設(shè)，另一個是培訓(xùn)。建設(shè)工作大抵是收集各類測試外文檔、測試工具、測試腳本，也包括收集整理測試人員的會議發(fā)言、總結(jié)報告、技術(shù)心得等等。培訓(xùn)工作大抵是通過技術(shù)講座、正式或非正式團(tuán)隊會議、印發(fā)學(xué)習(xí)資料等形式進(jìn)行。CraftGS項目組考慮到測試團(tuán)隊的長久發(fā)展，較好地完成了測試件管理，測試團(tuán)隊成員的技能水平在較短的時間內(nèi)都有了非常迅速的進(jìn)步。

　　5 結(jié)語：高可靠性軟件測試技術(shù)需要更多關(guān)注

　　以上筆者結(jié)合CraftGS項目對從測試技術(shù)和測試管理的角度對高可靠性軟件測試方案一個略粗淺的探討。筆者希望此文的發(fā)表能對相關(guān)軟件企業(yè)和軟件項目實施軟件測試技術(shù)起一定的參考和指導(dǎo)作用。需要說明的是目前對高可靠性軟件如何實施軟件測試技術(shù)仍是一個頗不成熟的領(lǐng)域，缺少一種體系化的方法。各個企業(yè)可能都有一定的經(jīng)驗積累，不妨整理出來，相互借鑒。