WINCE文件系統(tǒng)的偶發(fā)故障一直是WINCE系統(tǒng)最為棘手的問題，盡管出現(xiàn)故障的幾率不高，但對(duì)設(shè)備的穩(wěn)定運(yùn)行造成嚴(yán)重影響。為了保證基于WinCE的嵌入式系統(tǒng)能穩(wěn)定可靠運(yùn)行，英創(chuàng)公司對(duì)WINCE文件系統(tǒng)進(jìn)行了長(zhǎng)期分析測(cè)試，希望能找到有效辦法來(lái)規(guī)避WINCE文件系統(tǒng)故障。本文主要介紹英創(chuàng)在這方面的工作及獲得的成果。

先前的工作

過(guò)去多年，英創(chuàng)公司陸續(xù)做過(guò)很多工作改善WINCE文件系統(tǒng)，也取得了一些成效。

1．將文件系統(tǒng)升級(jí)成exfat。

2．封裝文件讀寫庫(kù)，增加緩存空間，使文件讀寫盡量以整塊形式操作。

3．升級(jí)數(shù)據(jù)庫(kù)版本。

4．實(shí)現(xiàn)WINCE5->WINCE6->WEC7的升級(jí)。

5．修改NandFlash的ECC校驗(yàn)。

6．將內(nèi)核注冊(cè)表類型由HIVE-Based注冊(cè)表替換為RAM-Based注冊(cè)表并測(cè)試其穩(wěn)定性。

7．增加文件備份恢復(fù)工具BFS。

先前的實(shí)驗(yàn)工作

因?yàn)槲募到y(tǒng)故障極低，使得通過(guò)實(shí)驗(yàn)程序復(fù)現(xiàn)其故障變得很困難。在實(shí)驗(yàn)室里通常大量板卡滿負(fù)荷連續(xù)工作1周以上可能才會(huì)發(fā)現(xiàn)有板卡出現(xiàn)文件系統(tǒng)故障。因?yàn)樵趯?shí)驗(yàn)室運(yùn)行程序始終與用戶現(xiàn)場(chǎng)使用存在差異，通過(guò)同樣CPU負(fù)載率完成近似文件讀寫量，確很難復(fù)現(xiàn)文件系統(tǒng)故障。英創(chuàng)公司也采用了很多不同的測(cè)試方法進(jìn)行測(cè)試，例如：

數(shù)據(jù)輪詢讀寫測(cè)試

基礎(chǔ)的文件讀寫測(cè)試程序，程序滿負(fù)荷向nandflash寫記錄文件，寫滿后刪除最早記錄繼續(xù)添加新記錄。英創(chuàng)所有板卡均能通過(guò)該測(cè)試，該實(shí)驗(yàn)程序也很難測(cè)試出文件系統(tǒng)故障。

數(shù)據(jù)庫(kù)讀寫測(cè)試1

程序?yàn)?a href="http://www.brongaenegriffin.com/tags/c#/" target="_blank">C#數(shù)據(jù)庫(kù)程序，程序滿負(fù)荷向SQLCE數(shù)據(jù)庫(kù)中不停添加記錄，該實(shí)驗(yàn)測(cè)試了WINCE5,WINCE6的板子，其中WINCE5的板子有測(cè)試出文件系統(tǒng)故障，整個(gè)測(cè)試周期較長(zhǎng)。

對(duì)該測(cè)試的分析，認(rèn)為WINCE6升級(jí)了文件系統(tǒng)和數(shù)據(jù)庫(kù)版本，所以表現(xiàn)比WINCE5好。

數(shù)據(jù)庫(kù)讀寫測(cè)試2

程序分別為C代碼的SQLCE數(shù)據(jù)庫(kù)程序和SQLite數(shù)據(jù)庫(kù)程序，多線程滿負(fù)荷對(duì)同數(shù)據(jù)庫(kù)進(jìn)行讀寫操作。SQLCE數(shù)據(jù)庫(kù)程序表現(xiàn)正常，SQLite數(shù)據(jù)庫(kù)程序只有在單線程時(shí)表現(xiàn)正常。查看SQLite源碼發(fā)現(xiàn)，WINCE中使用的SQLite庫(kù)精簡(jiǎn)掉了線程安全模式，所以不能保證多線程對(duì)數(shù)據(jù)庫(kù)同時(shí)操作的穩(wěn)定性。同時(shí)發(fā)現(xiàn)SQLite數(shù)據(jù)庫(kù)每次添加數(shù)據(jù)，都會(huì)新建一個(gè)臨時(shí)文件然后刪除，每次添加數(shù)據(jù)都會(huì)重新打開數(shù)據(jù)庫(kù)然后關(guān)閉，導(dǎo)致SQLite的CPU負(fù)載遠(yuǎn)遠(yuǎn)高于SQLCE。

對(duì)該測(cè)試的分析，目前版本的SQLite數(shù)據(jù)庫(kù)并適合在WINCE平臺(tái)上使用

1．?dāng)?shù)據(jù)滿負(fù)荷讀寫時(shí)增加隨機(jī)斷電

運(yùn)行之前文件讀寫程序，并增加外部定時(shí)斷電，用于模擬實(shí)際現(xiàn)場(chǎng)環(huán)境可能出現(xiàn)的掉電情況。測(cè)試發(fā)現(xiàn)運(yùn)行一段時(shí)間后發(fā)現(xiàn)WINCE6板子出現(xiàn)了文件系統(tǒng)故障，WEC7板子沒有出現(xiàn)。

該測(cè)試英創(chuàng)分析認(rèn)為CPU滿負(fù)荷讀寫狀態(tài)下突然掉電，可能是導(dǎo)致WINCE文件系統(tǒng)故障的主要原因。WEC7可能對(duì)文件系統(tǒng)做了近一步優(yōu)化，所以表現(xiàn)比WINCE6好。因?yàn)樵O(shè)備意外斷電總是不可避免，所以英創(chuàng)增加了備份還原工具來(lái)解決該問題。

2．多線程文件讀寫

根據(jù)客戶反饋，編寫測(cè)試程序模擬客戶應(yīng)用程序?qū)ξ募到y(tǒng)進(jìn)行讀寫操作，使用多個(gè)線程分別操作不同的文件進(jìn)行讀寫。當(dāng)實(shí)驗(yàn)讀寫數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)客戶估算數(shù)據(jù)量，依然不能復(fù)現(xiàn)出客戶反饋的文件系統(tǒng)故障。

該測(cè)試英創(chuàng)分析認(rèn)為測(cè)試程序始終和客戶應(yīng)用程序存在巨大差異，這種差異導(dǎo)致實(shí)驗(yàn)難以復(fù)現(xiàn)客戶反饋故障。

3．單文件多線程共享讀寫測(cè)試

同樣根據(jù)客戶反饋，編寫測(cè)試程序模擬客戶應(yīng)用程序?qū)ξ募到y(tǒng)進(jìn)行讀寫操作，這一次，使用多個(gè)線程同時(shí)對(duì)同個(gè)文件進(jìn)行讀寫操作。當(dāng)實(shí)驗(yàn)讀寫數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)客戶估算數(shù)據(jù)量時(shí)，同樣無(wú)法復(fù)現(xiàn)出客戶反饋的文件系統(tǒng)故障。

近期的實(shí)驗(yàn)發(fā)現(xiàn)

在近2個(gè)月里，我們采用了新的測(cè)試方法來(lái)檢驗(yàn)FATFS。測(cè)試程序通過(guò)Timer，分別以60ms，90ms，150ms間隔讀寫3個(gè)不同文件。與以往測(cè)試的最大不同在于，之前測(cè)試是在文件中不停的添加新數(shù)據(jù)，此次測(cè)試是以覆蓋的形式反復(fù)讀寫文件同一位置，即文件開頭2048字節(jié)數(shù)據(jù)。

該實(shí)驗(yàn)讀寫量遠(yuǎn)遠(yuǎn)低于之前的測(cè)試，略60KB/s，CPU負(fù)載平時(shí)在20%以下，但是穩(wěn)定在短時(shí)間內(nèi)測(cè)試出文件系統(tǒng)故障（通常在一天內(nèi)就能觀察到文件系統(tǒng)故障）。此次試驗(yàn)的意義在于大大降低了測(cè)試規(guī)模，（此前由于文件系統(tǒng)故障出現(xiàn)幾率太低，測(cè)試規(guī)模小了很可能測(cè)試不出結(jié)果。）

根據(jù)不同的實(shí)驗(yàn)條件，整個(gè)實(shí)驗(yàn)項(xiàng)目由十幾個(gè)具體實(shí)驗(yàn)組成，實(shí)驗(yàn)數(shù)據(jù)見文章末尾附表。以下簡(jiǎn)要描述各個(gè)實(shí)驗(yàn)的情況。

1 - 3號(hào)實(shí)驗(yàn)

實(shí)驗(yàn)測(cè)試了英創(chuàng)EM928X平臺(tái)下所有產(chǎn)品，發(fā)現(xiàn)不同硬件的產(chǎn)品在一定條件下均存在文件系統(tǒng)故障的概率，說(shuō)明文件系統(tǒng)故障與硬件關(guān)系不大。

實(shí)驗(yàn)測(cè)試RAM注冊(cè)表，和HIVE注冊(cè)表的主板，實(shí)驗(yàn)結(jié)果說(shuō)明文件系統(tǒng)故障與主板內(nèi)核中注冊(cè)表類型關(guān)系不大。

4 - 5號(hào)實(shí)驗(yàn)

實(shí)驗(yàn)中升級(jí)了測(cè)試程序，可以設(shè)置程序運(yùn)行時(shí)間。實(shí)驗(yàn)采用對(duì)比的形式，一組實(shí)驗(yàn)板運(yùn)行時(shí)間為90s，另一組實(shí)驗(yàn)板不限制測(cè)試時(shí)間，而外部斷電時(shí)間為150s。這樣，保證第一組測(cè)試版在外部斷電時(shí)，沒有進(jìn)行文件操作。

實(shí)驗(yàn)結(jié)果，兩組測(cè)試均出現(xiàn)了文件系統(tǒng)故障，實(shí)驗(yàn)結(jié)果看來(lái)，文件系統(tǒng)故障并非單純因?yàn)檫M(jìn)行文件讀寫操作時(shí)意外斷電導(dǎo)致。

實(shí)驗(yàn)還修改了ECC校驗(yàn)，從校驗(yàn)1位改為校驗(yàn)8位。實(shí)驗(yàn)結(jié)果看來(lái)，文件系統(tǒng)故障與ECC校驗(yàn)關(guān)系也不大。

6 - 8號(hào)實(shí)驗(yàn)

實(shí)驗(yàn)測(cè)試了電源對(duì)文件系統(tǒng)的影響，實(shí)驗(yàn)結(jié)果看來(lái)，文件系統(tǒng)故障與電源關(guān)系不大。

實(shí)驗(yàn)測(cè)試對(duì)比了大容量FLASH和小容量FLASH，實(shí)驗(yàn)結(jié)果看來(lái)，文件系統(tǒng)故障與FLASH容量大小沒有直接的關(guān)系，但容量越大故障出現(xiàn)的概率越小。

9號(hào)實(shí)驗(yàn)

采用了2組不同測(cè)試程序進(jìn)行對(duì)比實(shí)驗(yàn)，一套測(cè)試程序?yàn)樵瓬y(cè)試程序，一套測(cè)試程序增加一組判斷，當(dāng)CPU負(fù)載率超過(guò)70%時(shí)暫時(shí)停止文件讀寫，當(dāng)CPU負(fù)載率重新降到70%以下，再進(jìn)行文件操作。

實(shí)驗(yàn)發(fā)現(xiàn)采用了監(jiān)控CPU負(fù)載策略的板子再?zèng)]有出現(xiàn)文件系統(tǒng)故障。

10 - 13號(hào)實(shí)驗(yàn)

為了排除程序差異性，重新編寫測(cè)試程序，使測(cè)試使用相同測(cè)試程序，僅通過(guò)不同配置文件設(shè)置不同的文件讀寫策略。

實(shí)驗(yàn)再次驗(yàn)證，采用了監(jiān)控CPU負(fù)載策略的板子沒有發(fā)現(xiàn)文件系統(tǒng)故障，至少證明通過(guò)該策略，能大大降低文件系統(tǒng)故障概率。

進(jìn)一步觀察發(fā)現(xiàn)，板子每運(yùn)行1分鐘左右，大概文件重復(fù)寫1000次左右時(shí)，CPU負(fù)載率會(huì)迅速升高到100%，這里應(yīng)該是文件系統(tǒng)在后臺(tái)做寫平衡注操作。如果此時(shí)停止文件讀寫，CPU負(fù)載會(huì)很快下降至正常水平。反之，系統(tǒng)很大概率會(huì)一直維持CPU負(fù)載率100%狀態(tài)。分析認(rèn)為在系統(tǒng)進(jìn)行寫平衡操作時(shí)保持高頻率文件讀寫，容易導(dǎo)致應(yīng)用程序文件操作與后臺(tái)的寫平衡操作構(gòu)成某種互鎖而無(wú)法完成。

注：嵌入式板卡所使用的nandflash在寫之前需要擦除，而nandflash只有大約10萬(wàn)次的擦寫壽命。為了增加nandflash的使用壽命，文件系統(tǒng)會(huì)采用算法讓程序均與寫到nandflash各個(gè)位置，所以當(dāng)文件系統(tǒng)發(fā)現(xiàn)nandflash某個(gè)位置讀寫過(guò)于頻繁，就會(huì)將該處數(shù)據(jù)轉(zhuǎn)移到其它位置上。

14 - 17號(hào)實(shí)驗(yàn)

Timer實(shí)際上是并在主線程里的單線程操作，客戶在實(shí)際使用時(shí)更多使用多線程進(jìn)行讀寫操作。14號(hào)至17號(hào)實(shí)驗(yàn)使用修改后的測(cè)試程序，程序使用多線程進(jìn)行文件讀寫操作，讀寫間隔為50ms、100ms、150ms，與之前相似。實(shí)驗(yàn)發(fā)現(xiàn)，使用多線程，CPU負(fù)載比Timer低，文件系統(tǒng)出現(xiàn)故障幾率比之前低，但是不采用CPU負(fù)載監(jiān)控策略的板子依然會(huì)出現(xiàn)文件系統(tǒng)故障。

實(shí)驗(yàn)設(shè)定了不同CPU監(jiān)控閾值，測(cè)試發(fā)現(xiàn)閾值設(shè)置到99，即僅在CPU負(fù)載達(dá)到99%以上時(shí)暫停文件讀寫，就可以有效避免出現(xiàn)文件系統(tǒng)故障。即只要CPU負(fù)載不達(dá)到100%，后臺(tái)寫平衡操作就能很快完成。

實(shí)驗(yàn)結(jié)論

從實(shí)驗(yàn)結(jié)果來(lái)看，文件系統(tǒng)故障最大誘因是系統(tǒng)內(nèi)部做寫平衡處理同時(shí)應(yīng)用程序也在進(jìn)行高頻率文件讀寫。寫平衡操作長(zhǎng)時(shí)間無(wú)法完成容易導(dǎo)致文件系統(tǒng)故障。采用文章中提到的讀寫策略：即監(jiān)控CPU負(fù)載率，在CPU負(fù)載超過(guò)一定閾值（推薦70%），暫停文件操作，等待CPU負(fù)載率降低到閾值以下（系統(tǒng)后臺(tái)寫平衡操作結(jié)束），可有效規(guī)避FATFS內(nèi)部均衡操作與文件讀寫的沖突，從而保證文件系統(tǒng)的穩(wěn)定運(yùn)行。

客戶程序如果高頻率對(duì)文件進(jìn)行覆蓋讀寫操作，或是反復(fù)修改數(shù)據(jù)庫(kù)某項(xiàng)值，會(huì)導(dǎo)致系統(tǒng)頻繁進(jìn)行寫平衡操作。優(yōu)化程序，降低系統(tǒng)寫平衡操作的頻率，也有助于提供文件系統(tǒng)穩(wěn)定性。

小結(jié)

對(duì)基于WinCE的嵌入式系統(tǒng)，應(yīng)用程序如果遵循以下2條規(guī)則：（1）采用多線程進(jìn)行不同文件的讀寫操作；（2）基于CPU負(fù)載率的文件讀寫控制策略。就能夠保證文件系統(tǒng)的穩(wěn)定可靠運(yùn)行。

附表實(shí)驗(yàn)記錄

其他

測(cè)試中使用的測(cè)試程序及源碼，客戶可以聯(lián)系英創(chuàng)工程師獲得。