隨著軟硬件協(xié)同應用復雜性日益增加，其中軟件必須通過全面的測試才可以保證質(zhì)量和可靠性。但由于研發(fā)時間的限制，軟件測試需要選擇合適的方法，同時選擇合適的測試工具，以便達到足夠的測試效率。在一個基于FPGA的軟硬件協(xié)同應用中，本文從占用資源、運行速度等方面比較了Rational Visual Test和QuickTest Professional兩大自動化測試工具，得出前者有較好的速度和可用性。

前言

軟件測試是程序的一種執(zhí)行過程，目的是盡可能發(fā)現(xiàn)并改正被測試軟件中的錯誤，提高軟件的可靠性，它是軟件生命周期中一項非常重要的非常復雜的工作。在目前的情況下對軟件可靠性保證具有極其重要意義的，仍然是軟件測試。但如何進行測試，如何提高測試的質(zhì)量和效率，從而確保軟件產(chǎn)品的質(zhì)量和可靠性，仍是令人深感困惑的問題。本文簡要介紹軟件測試的基本過程，以及一些常用的技術(shù)手段、測試策略和準則，并介紹一個在工作中用到的Rational（現(xiàn)已被IBM收購）自動化軟件測試工具Visual Test。

運用這種自動化測試工具可以省去很多手工運行的麻煩，而且準確獲得測試數(shù)據(jù)和結(jié)果。通過本文介紹，以期使愈來愈多的人在認識到軟件測試重要性的同時，能夠更進一步了解應如何正確地選擇和有效地運用各種各樣的測試方法、技術(shù)以及自動化測試工具提高軟件的質(zhì)量和可靠性。

軟件測試的基本過程　　軟件測試是一個極為復雜的過程。一個規(guī)范化的軟件測試過程通常須包括以下基本的測試活動 ：①擬定軟件測試計劃 ；②編制軟件測試大綱 ；③設(shè)計和生成測試用例 ；④實施測試 ；⑤生成軟件問題報告。

實際上，軟件測試過程與整個軟件開發(fā)過程基本上是平行進行的。測試計劃早在需求分析階段即應開始制定，其他相關(guān)工作，包括測試大綱的制定、測試數(shù)據(jù)的生成、測試工具的選擇和開發(fā)等也應在測試階段之前進行。充分的準備工作可以有效地克服測試的盲目性，縮短測試周期，提高測試效率，并且起到測試文檔與開發(fā)文檔互查的作用。此外，軟件測試在每個測試周期中，測試工程師將依據(jù)預先編制好的測試大綱和準備好的測試用例，對被測軟件進行完整的測試。測試與糾錯通常是反復交替進行的。

軟件測試工具

軟件測試的目的是用盡可能少的時間和人力發(fā)現(xiàn)并改正軟件中潛在的各種故障及缺陷，并能以更快的速度和更低的成本開發(fā)出高質(zhì)量的應用程序，這就使測試人員的工作比以往任何時候都更加困難。在很多項目中，測試人員的所有任務大多是由手動處理的，而實際上有很大一部分重復性強的測試工作是可以獨立開來，自動實現(xiàn)的。在大型項目中測試團隊和其他團隊之間沒有足夠的合作，無法促進彼此的交流。實施測試自動化可以提高測試工作效率，使用工具的目的只是為了減少部分手工測試，將更多人力資源投入到更有價值的工作中。

一些受軟件開發(fā)人員歡迎的軟件測試工具為軟件測試提供了強有力的支持。本文將介紹美國 Rational 公司（現(xiàn)已被IBM收購）的著名套裝軟件Rational Visual Test。它的一個重要特點是可以自動驅(qū)動被測程序的運行。并且可以自動記錄和重放程序執(zhí)行過程，從而實現(xiàn)了對測試進行“復查”的自動化。由于測試是一個需要反復進行的過程，常常要數(shù)十次甚至數(shù)百次地重復。因此，這一特性大大地提高了軟件“再測試”（Re-Test）和“回歸測試 ”（Regression）的自動化程度，把測試人員從繁雜的、重復性的手工測試中解脫出來，從而顯著地提高軟件測試效率。除了這個最基本的自動錄放功能外，它還提供了一系列的輔助支持功能，比如被錄制的程序執(zhí)行過程可以被自動轉(zhuǎn)換成具有良好可讀性的高級語言程序，從而使這個測試驅(qū)動程序可以由測試人員根據(jù)測試需要進行必要的修改，甚至完全用手工方式編制。自動記錄和分析比較測試的執(zhí)行結(jié)果。

測試實例介紹

　　接下來以實際工作中的一個測試項目為例，結(jié)合Visual Test這個自動測試工具對所要測試的內(nèi)容進行介紹。為了方便介紹，下文都以VT作為Visual Test的簡稱，QT作為工具QuickTest Professional的簡稱。

Visual Test的軟件界面，與Visual Stadio相似，所以很容易上手，左面是建立的項目名，右面是代碼，最下面是信息輸出窗口。

接下來介紹所要測試的軟件ispLEVER，它是Lattice公司的CPLD/FPGA集成設(shè)計工具。現(xiàn)在所要測試的就是在ispLEVER環(huán)境下運行一批FPGA器件的設(shè)計例子，產(chǎn)生最后的下載文件（.bit或者.jed），并提取一些例如最大頻率，所用資源等參數(shù)，將這些參數(shù)與之前版本運行后的結(jié)果相比較，這樣就能分析出當前所測試軟件版本的優(yōu)劣之處。

運行Rational Visual test測試主要分為兩步，先運行所有的設(shè)計的case，然后提取參數(shù)。

運行所有case　　首先讀取runlist文件，runlist是一個包括了所有運行例子的文件名的文件，每一行對應一個例子的文件名，程序逐行讀入，參考圖1示的代碼。

接下來整個代碼運行的流程可以表示為：最小化VT窗口-》在桌面上找到ispLEVER的圖標并運行-》進入工作目錄-》處理一些彈出的窗口信息-》打開需要運行的例子-》清除項目以前運行的信息 -》保存項目-》運行布線-》保存當前的項目-》把運行完的例子復制到統(tǒng)一的備份目錄中-》關(guān)閉當前運行的項目 -》運行下一個例子 ……，直至運行完所有的測試例子?！　∫陨纤械牟藛魏痛翱诓僮鞫际怯蒝T執(zhí)行代碼完成操作。接著測試工具將會按照代碼包含的子程序運行。

圖2所示的打開項目程序所進行的操作依次為，選中ispLEVER為當前窗口，定義窗口的尺寸，打開File下拉菜單的第二行命令，也就是open project命令，接著用play命令輸入工作目錄和項目名，接著點擊open來打開項目。

此外VT中還有例如點擊窗口中的關(guān)鍵字操作，在當前窗口中尋找關(guān)鍵字，坐標定位等指令，靈活運用這些命令極大的豐富了VT自動化測試的內(nèi)容。

運行完所有的例子后，所要進行的就是提取所需的各種參數(shù)，也就是重要的測試數(shù)據(jù)。

運行完的例子都會備份在一個統(tǒng)一的目錄中，現(xiàn)在VT所要做的就是在這些對應的目錄中找到.log和.twr文件，這兩個文件是最后運行完case的輸出信息文件，里面包含了測試所要提取的一些參數(shù)信息。

圖3是在.log文件中的一段信息，紅圈指示的內(nèi)容是需要提取的信息之一，log文件是運行完后軟件所生成的日志，里面包括了布線完后的一些資源信息，在這里VT所要做的提取的是PIOs信息，也就是輸入輸出端口數(shù)量的信息，可以用下面的代碼實現(xiàn)。

圖4實現(xiàn)的是把log文件中逐行輸入到tempstring中，在這些輸入的信息中找到所需信息并處理，則需要在VT中用以下代碼實現(xiàn)。

圖5實現(xiàn)的是在字符串tempstring中尋找關(guān)鍵字“Number of external PIOs：”，也就是I/O口端口數(shù)量信息的那行。如果找到的話，用LTRIM$實現(xiàn)從這行第29個字符開始的內(nèi)容放入tempstring2中。由于所要的有用信息只包括”out of”之前的數(shù)字，所以還需要用LEFT$來提取左面的信息，也就是158，這就是使用的I/O端口數(shù)量的信息，最后再用TRIM$ 去掉空格即可得到。

類似的可以在特定的時序文件中得到最大頻率，所用綜合工具，器件封裝，所用到的資源等等信息，把這些參數(shù)信息提取出來與之前版本的ispLEVE軟件所運行得出的結(jié)果相比較，得出測試的結(jié)果。

從上可看出，對于測試所要運行的例子比較多，如果采用手工的話，工作量相當大，而且極不精確，容易出錯?，F(xiàn)在采用自動化測試工具將簡化測試的繁瑣程度，所有操作由自動化測試工具完成，而且代碼可以移植，只要稍微改動幾個參數(shù)，代碼適用于每個版本的測試，給測試工作帶來極大方便與準確性。

自動化測試工具的比較

目前同類的主流自動化測試軟件還有Mucury公司的QuickTest Professional。

它也是一款測試自動化軟件，與Visual Test有類似之處，都是用于創(chuàng)建功能和回歸測試，能自動捕獲、驗證和重放用戶的交互行為。QuickTest Professional的特點是易于操作，可以通過軟件中所集成的錄制能力來捕獲測試步驟，產(chǎn)品用簡單的英語以文檔形式記錄每個步驟，并通過活動屏幕將文檔與一個集成截屏相結(jié)合。傳統(tǒng)的腳本記錄工具所生產(chǎn)的腳本不易修改，不同的是，在QuickTest中的關(guān)鍵詞驅(qū)動方式能便捷地插入、修改數(shù)據(jù)驅(qū)動和移除測試步驟，靈活性較強。

下面的數(shù)據(jù)表格是在PC上運行VT和QT這兩個工具，分別關(guān)于內(nèi)存占用以及打開ispLEVER工具的時間，兩者對比之下的結(jié)果。其中Open project ，F(xiàn)it Design是指打開設(shè)計和最后生成下載文件，Simulation是仿真，Design Planner、EPIC、IPexpress、ispVM、Power Calculator等都是ispLEVER開發(fā)環(huán)境下的工具，主要用于底層的交互式編輯，調(diào)用ip以及下載程序，分析功率等功能（表1，表2）。

根據(jù)上面兩個對比結(jié)果，從內(nèi)存占用情況來看VT占用的資源要遠小于QT；從打開工具所用時間來看，VT打開絕大多數(shù)ispLEVER的工具的時間也要小于QT。雖然QT具有較強的錄制修改腳本的特點，但從實際應用來看，運行的速度和占用資源對于軟件測試更為重要，所以自動測試工具VT要優(yōu)于QT。

結(jié)論

隨著軟硬件協(xié)同應用復雜性日益增加，軟件測試工作越來越受到重視。隨著軟件技術(shù)的發(fā)展，程序的規(guī)模逐漸增大，復雜度也逐漸增加，使用軟件測試工具可以增強軟件測試的自動化程度。在兩個主流軟件的比較中，Visual Test相對較高的效率和速度在軟硬件設(shè)計的實際應用中得到驗證，有助于軟件開發(fā)和測試人員進一步提高測試效率和軟件的質(zhì)量。這可以反映出在軟硬件設(shè)計的過程中，工具的選擇必須用實際應用來作選擇，來保障整體的開發(fā)效率的提高。

責任編輯：gt