海量小文件是業(yè)界難題，甚至有專(zhuān)門(mén)的名詞，LOSF(lots of samll file)。通常我們認(rèn)為大小在1MB以?xún)?nèi)的文件稱(chēng)為小文件，百萬(wàn)級(jí)數(shù)量及以上稱(chēng)為海量文件，由此量化定義海量小文件。

在互聯(lián)網(wǎng)(尤其是移動(dòng)互聯(lián)網(wǎng))、物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等高速發(fā)展的大背景下，數(shù)據(jù)呈現(xiàn)爆炸式地增長(zhǎng)。海量小文件的應(yīng)用在生活中已越來(lái)越常見(jiàn)，社會(huì)化網(wǎng)絡(luò)、移動(dòng)通信、網(wǎng)絡(luò)視頻音頻、電子商務(wù)、傳感器網(wǎng)絡(luò)、科學(xué)實(shí)驗(yàn)等各種應(yīng)用產(chǎn)生的數(shù)據(jù)，不僅存儲(chǔ)容量巨大，而且數(shù)據(jù)類(lèi)型繁多、數(shù)據(jù)大小變化幅度大、流動(dòng)快等顯著特點(diǎn)，往往能夠產(chǎn)生千萬(wàn)級(jí)、億級(jí)甚至十億、百億級(jí)的海量小文件。如何構(gòu)建高效存儲(chǔ)訪問(wèn)和備份恢復(fù)的小文件管理是目前海量數(shù)據(jù)存儲(chǔ)所面臨的一個(gè)重要問(wèn)題。

對(duì)于LOSF而言，IOPS/OPS是關(guān)鍵性能衡量指標(biāo)，造成性能和存儲(chǔ)效率低下的主要原因包括海量文件的元數(shù)據(jù)管理、存儲(chǔ)介質(zhì)性能限制等方面。

元數(shù)據(jù)來(lái)說(shuō)，雖然小文件得數(shù)據(jù)量小，但是每個(gè)數(shù)據(jù)的元數(shù)據(jù)量不變。導(dǎo)致文件系統(tǒng)的元數(shù)據(jù)量非常龐大，因此元數(shù)據(jù)對(duì)于小文件得訪問(wèn)效率影響非常大。磁盤(pán)文件系統(tǒng)使用塊來(lái)組織磁盤(pán)數(shù)據(jù)，并在inode中存儲(chǔ)索引文件數(shù)據(jù)塊。數(shù)據(jù)塊通常比較小，一般為1KB、2KB或4KB。

當(dāng)文件需要存儲(chǔ)數(shù)據(jù)時(shí)，文件系統(tǒng)根據(jù)預(yù)定的策略分配數(shù)據(jù)塊，分配策略會(huì)綜合考慮數(shù)據(jù)局部性、存儲(chǔ)空間利用效率等因素，通常會(huì)優(yōu)先考慮大文件I/O帶寬。對(duì)于特別小的小文件，比如小于4KB，inode與數(shù)據(jù)分開(kāi)存儲(chǔ)，這種數(shù)據(jù)布局也沒(méi)有充分利用空間局部性，導(dǎo)致隨機(jī)I/O訪問(wèn)。

SSD無(wú)疑是從存儲(chǔ)介質(zhì)層面提升海量小文件存儲(chǔ)性能的利器。單盤(pán)幾萬(wàn)的IOPS，甚至采用nvme協(xié)議后能達(dá)到單盤(pán)幾十萬(wàn)的IOPS，高IOPS能非常好的提升海量小文件檢索效率。奈何SSD價(jià)格還是高高在上，無(wú)法大規(guī)模普及。但隨著NAND flash的發(fā)展，SSD取代機(jī)械硬盤(pán)是肯定的事。

但是光從存儲(chǔ)介質(zhì)層面入手還不能完全解決問(wèn)題。由于目前的文件系統(tǒng)往往是針對(duì)大文件設(shè)計(jì)的，比如ext3，btrfs，ntfs等文件系統(tǒng)在大文件時(shí)表現(xiàn)往往可以，但是海量小文件場(chǎng)景時(shí)性能也會(huì)出現(xiàn)下降。這種情況其實(shí)是文件系統(tǒng)跟不上硬件的性能，只有針對(duì)海量小文件做了特殊優(yōu)化的文件系統(tǒng)配合高性能的SSD才能夠更好的解決該問(wèn)題。

對(duì)象存儲(chǔ)是近幾年新發(fā)展出來(lái)的全新存儲(chǔ)使用協(xié)議。對(duì)象存儲(chǔ)最明顯的特點(diǎn)就是，一般無(wú)用戶(hù)使用界面，不像常見(jiàn)的posix協(xié)議的文件系統(tǒng)可以直接操作文件。用戶(hù)存儲(chǔ)文件和獲取文件采用url的方式。可以比如，存儲(chǔ)一個(gè)數(shù)據(jù)的時(shí)候用put，獲取用get。對(duì)象存儲(chǔ)不像文件系統(tǒng)一樣可以無(wú)縫兼容各種業(yè)務(wù)程序，而是需要業(yè)務(wù)程序調(diào)整自己的讀寫(xiě)接口為對(duì)象標(biāo)準(zhǔn)，從而給實(shí)際落地應(yīng)用帶來(lái)了一定的門(mén)檻。

對(duì)象存儲(chǔ)，也叫做基于對(duì)象的存儲(chǔ)，是用來(lái)描述解決和處理離散單元的方法的通用術(shù)語(yǔ)，這些離散單元被稱(chēng)作為對(duì)象。就像文件一樣，對(duì)象包含數(shù)據(jù)，但是和文件不同的是，對(duì)象在一個(gè)層結(jié)構(gòu)中不會(huì)再有層級(jí)結(jié)構(gòu)。每個(gè)對(duì)象都在一個(gè)被稱(chēng)作存儲(chǔ)池的扁平地址空間的同一級(jí)別里，一個(gè)對(duì)象不會(huì)屬于另一個(gè)對(duì)象的下一級(jí)。

比如Ceph通過(guò)Crush算法做數(shù)據(jù)分布。不使用文件系統(tǒng)時(shí)，系統(tǒng)無(wú)需配置元數(shù)據(jù)服務(wù)（MDS），這時(shí)系統(tǒng)無(wú)需管理龐大的元數(shù)據(jù)，避免了元數(shù)據(jù)服務(wù)成為瓶頸；但是由于機(jī)械硬盤(pán)的本身限制，往往在使用的時(shí)候，都會(huì)配置SSD盤(pán)作為緩存盤(pán)提供系統(tǒng)整體IOPS。同時(shí)業(yè)務(wù)系統(tǒng)也得由于使用對(duì)象存儲(chǔ)系統(tǒng)而修改IO讀寫(xiě)的訪問(wèn)接口，這對(duì)于很多用戶(hù)來(lái)說(shuō)是很難以接受的方案。

文件系統(tǒng)作為平常最常見(jiàn)的存儲(chǔ)方式，還是受廣大的用戶(hù)喜歡。但是傳統(tǒng)NAS具有機(jī)頭瓶頸，海量小IO的并發(fā)下性能會(huì)很差。分布式存儲(chǔ)發(fā)展起來(lái)后，通過(guò)橫向擴(kuò)展，方便的解決傳統(tǒng)存儲(chǔ)帶來(lái)的瓶頸問(wèn)題。一般來(lái)說(shuō)文件系統(tǒng)一定需要元數(shù)據(jù)，每次數(shù)據(jù)的讀寫(xiě)都會(huì)涉及到元數(shù)據(jù)的訪問(wèn)或者修改。所以元數(shù)據(jù)服務(wù)器的還是會(huì)成為分布式文件系統(tǒng)處理海量小文件時(shí)的瓶頸。

隨著數(shù)字世界的不斷龐大，海量小文件場(chǎng)景越來(lái)越常見(jiàn)。我們也看到業(yè)界很多產(chǎn)品通過(guò)各種方式的優(yōu)化，支持百億級(jí)別的數(shù)據(jù)訪問(wèn)。但是LOSF問(wèn)題是公認(rèn)的難題，需要針對(duì)不同的業(yè)務(wù)場(chǎng)景進(jìn)行專(zhuān)門(mén)的優(yōu)化，一個(gè)產(chǎn)品沒(méi)法吃遍天下。