前言

之前讀了關(guān)于順序一致性和緩存一致性討論的文章，感覺豁然開朗。對(duì)linux內(nèi)核中出現(xiàn)的種種同步和屏障，想做一點(diǎn)總結(jié)。

緩存一致性
之前一直認(rèn)為linux中很多東西是用來(lái)保證緩存一致性的，其實(shí)不是。緩存一致性絕大部分是靠硬件機(jī)制實(shí)現(xiàn)的，只有在帶lock前綴的指令執(zhí)行時(shí)才與cache有一點(diǎn)關(guān)系。（這話說(shuō)得絕對(duì)，但我目前看來(lái)就是這樣）我們更多的時(shí)候是為了保證順序一致性。

所謂緩存一致性，就是在多處理器系統(tǒng)中，每個(gè)cpu都有自己的L1 cache。很可能兩個(gè)不同cpu的L1 cache中緩存的是同一片內(nèi)存的內(nèi)容，如果一個(gè)cpu更改了自己被緩存的內(nèi)容，它要保證另一個(gè)cpu讀這塊數(shù)據(jù)時(shí)也要讀到這個(gè)最新的。不過(guò)你不要擔(dān)心，這個(gè)復(fù)雜的工作完全是由硬件來(lái)完成的，通過(guò)實(shí)現(xiàn)一種MESI協(xié)議，硬件可以輕松的完成緩存一致性的工作。不要說(shuō)一個(gè)讀一個(gè)寫，就是多個(gè)同時(shí)寫都沒問(wèn)題。一個(gè)cpu讀時(shí)總能讀入最新的數(shù)據(jù)，不管它是在自己的cache中，還是在其它c(diǎn)pu的cache中，還是在內(nèi)存中，這就是緩存一致性。

順序一致性
所謂順序一致性，說(shuō)的則是與緩存一致性完全不同的概念，雖然它們都是處理器發(fā)展的產(chǎn)物。因?yàn)榫幾g器的技術(shù)不斷發(fā)展，它可能為了優(yōu)化你的代碼，而將某些操作的順序更改執(zhí)行。處理器中也早就有了多發(fā)射、亂序執(zhí)行的概念。這樣的結(jié)果，就是實(shí)際執(zhí)行的指令順序會(huì)與編程時(shí)代碼的執(zhí)行順序略有不同。這在單處理器下當(dāng)然沒什么，畢竟只要自己的代碼不過(guò)問(wèn)，就沒人過(guò)問(wèn)，編譯器和處理器就是在保證自己的代碼發(fā)現(xiàn)不了的情況下打亂執(zhí)行順序的。但多處理器不是這樣，可能一個(gè)處理器上指令的完成順序，會(huì)對(duì)其它處理器上執(zhí)行的代碼造成很大影響。所以就有了順序一致性的概念，即保證一個(gè)處理器上線程的執(zhí)行順序，在其它的處理器上的線程看來(lái)，都是一樣的。這個(gè)問(wèn)題的解決不是光靠處理器或者編譯器就能解決的，需要軟件的干預(yù)。

內(nèi)存屏障
軟件干預(yù)的方式也非常簡(jiǎn)單，那就是插入內(nèi)存屏障(memory barrier)。其實(shí)內(nèi)存屏障這個(gè)詞，是由搞處理器的人造的，弄得我們很不好理解。內(nèi)存屏障，很容易讓我們串到緩存一致性去，乃至懷疑是否這樣做才能讓其它c(diǎn)pu看到被修改過(guò)的cache，這樣想就錯(cuò)了。所謂內(nèi)存屏障，從處理器角度來(lái)說(shuō)，是用來(lái)串行化讀寫操作的，從軟件角度來(lái)講，就是用來(lái)解決順序一致性問(wèn)題的。編譯器不是要打亂代碼執(zhí)行順序嗎，處理器不是要亂序執(zhí)行嗎，你插入一個(gè)內(nèi)存屏障，就相當(dāng)于告訴編譯器，屏障前后的指令順序不能顛倒，告訴處理器，只有等屏障前的指令執(zhí)行完了，屏障后的指令才能開始執(zhí)行。當(dāng)然，內(nèi)存屏障能阻擋編譯器亂來(lái)，但處理器還是有辦法。處理器中不是有多發(fā)射、亂序執(zhí)行、順序完成的概念嗎，它在內(nèi)存屏障時(shí)只要保證前面指令的讀寫操作，一定在后面指令的讀寫操作完成之前完成，就可以了。所以內(nèi)存屏障才會(huì)對(duì)應(yīng)有讀屏障、寫屏障和讀寫屏障三類。如x86之前保證寫操作都是順序完成的，所以不需要寫屏障，但現(xiàn)在也有部分ia32處理器的寫操作變成亂序完成，所以也需要寫屏障。
??? 其實(shí)，除了專門的讀寫屏障指令，還有很多指令的執(zhí)行是帶有讀寫屏障功能的，比如帶lock前綴的指令。在專門的讀寫屏障指令出現(xiàn)之前，linux就是靠lock熬過(guò)來(lái)的。
??? 至于在那里插入讀寫屏障，要視軟件的需求而定。讀寫屏障無(wú)法完全實(shí)現(xiàn)順序一致性，但多處理器上的線程也不會(huì)一直盯著你的執(zhí)行順序看，只要保證在它看過(guò)來(lái)的時(shí)候，認(rèn)為你符合順序一致性，執(zhí)行不會(huì)出現(xiàn)你代碼中沒有預(yù)料到的情況。所謂預(yù)料外的情況，舉例而言，你的線程是先給變量a賦值，再給變量b賦值，結(jié)果別的處理器上運(yùn)行的線程看過(guò)來(lái)，發(fā)現(xiàn)b賦值了，a卻沒有賦值，（注意這種不一致不是由緩存不一致造成的，而是處理器寫操作完成的順序不一致造成的），這時(shí)就要在a賦值與b賦值之間，加一個(gè)寫屏障。

多處理器間同步
????? 有了SMP之后，線程就開始同時(shí)在多個(gè)處理器上運(yùn)行。只要是線程就有通信和同步的要求。幸好SMP系統(tǒng)是共享內(nèi)存的，也就是所有處理器看到的內(nèi)存內(nèi)容都一樣，雖然有獨(dú)立的L1 cache，但還是由硬件完成了緩存一致性處理的問(wèn)題。那不同處理器上的線程要訪問(wèn)同一數(shù)據(jù)，需要臨界區(qū)，需要同步。靠什么同步？之前在UP系統(tǒng)中，我們上靠信號(hào)量，下靠關(guān)中斷和讀修改寫指令?，F(xiàn)在在SMP系統(tǒng)中，關(guān)中斷已經(jīng)廢了，雖然為了同步同一處理器上的線程還是需要的，但只靠它已經(jīng)不行了。讀修改寫指令？也不行了。在你指令中讀操作完成寫操作還沒進(jìn)行時(shí)，就可能有另外的處理器進(jìn)行了讀操作或者寫操作。緩存一致性協(xié)議是先進(jìn)，但還沒有先進(jìn)到預(yù)測(cè)這條讀操作是哪種指令發(fā)出來(lái)的。所以x86又發(fā)明了帶lock前綴的指令。在此指令執(zhí)行時(shí)，會(huì)將所有包含指令中讀寫地址的cache line失效，并鎖定內(nèi)存總線。這樣別的處理器要想對(duì)同樣的地址或者同一個(gè)cache line上的地址讀寫，既無(wú)法從cache中進(jìn)行（cache中相關(guān)line已經(jīng)失效了），也無(wú)法從內(nèi)存總線上進(jìn)行（整個(gè)內(nèi)存總線都鎖了），終于達(dá)到了原子性執(zhí)行的目的。當(dāng)然，從P6處理器開始，如果帶lock前綴指令 要訪問(wèn)的地址本來(lái)就在cache中，就無(wú)需鎖內(nèi)存總線，也能完成原子性操作了（雖然我懷疑這是因?yàn)榧恿硕嗵幚砥鲀?nèi)部公共的L2 cache的緣故）。

因?yàn)闀?huì)鎖內(nèi)存總線，所以帶lock前綴指令執(zhí)行前，也會(huì)先將未完成的讀寫操作完成，也起到內(nèi)存屏障的功能。
???? 現(xiàn)在多處理器間線程的同步，上用自旋鎖，下用這種帶了lock前綴的讀修改寫指令。當(dāng)然，實(shí)際的同步還有加上禁止本處理器任務(wù)調(diào)度的，有加上任務(wù)關(guān)中斷的，還會(huì)在外面加上信號(hào)量的外衣。linux中對(duì)這種自旋鎖的實(shí)現(xiàn)，已歷經(jīng)四代發(fā)展，變得愈發(fā)高效強(qiáng)大。

內(nèi)存屏障的實(shí)現(xiàn)
#ifdef CONFIG_SMP????
#define smp_mb()??? mb()????
#define smp_rmb()?? rmb()????
#define smp_wmb()?? wmb()????
#else????
#define smp_mb()??? barrier()????
#define smp_rmb()?? barrier()????
#define smp_wmb()?? barrier()????
#endif?

CONFIG_SMP就是用來(lái)支持多處理器的。如果是UP(uniprocessor)系統(tǒng)，就會(huì)翻譯成barrier()。

#define barrier() __asm__ __volatile__("": : :"memory")??
barrier()的作用，就是告訴編譯器，內(nèi)存的變量值都改變了，之前存在寄存器里的變量副本無(wú)效，要訪問(wèn)變量還需再訪問(wèn)內(nèi)存。這樣做足以滿足UP中所有的內(nèi)存屏障。?
#ifdef CONFIG_X86_32????
/*??
?* Some non-Intel clones support out of order store. wmb() ceases to be a??
?* nop for these.??
?*/???
#define mb() alternative("lock; addl $0,0(%%esp)", "mfence", X86_FEATURE_XMM2)????
#define rmb() alternative("lock; addl $0,0(%%esp)", "lfence", X86_FEATURE_XMM2)????
#define wmb() alternative("lock; addl $0,0(%%esp)", "sfence", X86_FEATURE_XMM)????
#else????
#define mb()??? asm volatile("mfence":::"memory")????
#define rmb()?? asm volatile("lfence":::"memory")????
#define wmb()?? asm volatile("sfence" ::: "memory")????
#endif??
如果是SMP系統(tǒng)，內(nèi)存屏障就會(huì)翻譯成對(duì)應(yīng)的mb()、rmb()和wmb()。這里CONFIG_X86_32的意思是說(shuō)這是一個(gè)32位x86系統(tǒng)，否則就是64位的x86系統(tǒng)?，F(xiàn)在的linux內(nèi)核將32位x86和64位x86融合在同一個(gè)x86目錄，所以需要增加這個(gè)配置選項(xiàng)。

可以看到，如果是64位x86，肯定有mfence、lfence和sfence三條指令，而32位的x86系統(tǒng)則不一定，所以需要進(jìn)一步查看cpu是否支持這三條新的指令，不行則用加鎖的方式來(lái)增加內(nèi)存屏障。

SFENCE,LFENCE,MFENCE指令提供了高效的方式來(lái)保證讀寫內(nèi)存的排序,這種操作發(fā)生在產(chǎn)生弱排序數(shù)據(jù)的程序和讀取這個(gè)數(shù)據(jù)的程序之間。?
?? SFENCE——串行化發(fā)生在SFENCE指令之前的寫操作但是不影響讀操作。?
?? LFENCE——串行化發(fā)生在SFENCE指令之前的讀操作但是不影響寫操作。?
?? MFENCE——串行化發(fā)生在MFENCE指令之前的讀寫操作。?
sfence:在sfence指令前的寫操作當(dāng)必須在sfence指令后的寫操作前完成。?
lfence：在lfence指令前的讀操作當(dāng)必須在lfence指令后的讀操作前完成。?
mfence：在mfence指令前的讀寫操作當(dāng)必須在mfence指令后的讀寫操作前完成。

至于帶lock的內(nèi)存操作，會(huì)在鎖內(nèi)存總線之前，就把之前的讀寫操作結(jié)束，功能相當(dāng)于mfence，當(dāng)然執(zhí)行效率上要差一些。

說(shuō)起來(lái)，現(xiàn)在寫點(diǎn)底層代碼真不容易，既要注意SMP問(wèn)題，又要注意cpu亂序讀寫問(wèn)題，還要注意cache問(wèn)題，還有設(shè)備DMA問(wèn)題，等等。

多處理器間同步的實(shí)現(xiàn)
????? 多處理器間同步所使用的自旋鎖實(shí)現(xiàn)，已經(jīng)有專門的文章介紹

?