在HPC計(jì)算和存儲(chǔ)業(yè)務(wù)中,針對(duì)文件系統(tǒng)的IO請(qǐng)求中,一半以上是元數(shù)據(jù)訪問(wèn)。元數(shù)據(jù)訪問(wèn)特點(diǎn):
I/O大小較?。ㄔ獢?shù)據(jù)大小通常只有幾百Byte),使得元數(shù)據(jù)服務(wù)器CPU的負(fù)載重
許多元數(shù)據(jù)操作包含多次子操作,例如打開(kāi)文件需要進(jìn)行多次的路徑解析,使得元數(shù)據(jù)操作會(huì)觸發(fā)多次網(wǎng)絡(luò)I/O
當(dāng)前,主流并行文件系統(tǒng)大多采用分布式解決方案中,Lustre、CephFS采用子樹(shù)劃分+目錄條帶化;BeeGFS根據(jù)名稱的Hash值分布到多節(jié)點(diǎn);GlusterFS采用無(wú)中心架構(gòu);IndexFS的元數(shù)據(jù)以KV存儲(chǔ),通過(guò)GIGA+算法分布到多節(jié)點(diǎn)。
現(xiàn)有文件系統(tǒng)元數(shù)據(jù)管理的潛在缺陷:1)POSIX的語(yǔ)義限制了元數(shù)據(jù)性能提升,2)數(shù)據(jù)結(jié)構(gòu)不利于并發(fā)處理,3)元數(shù)據(jù)性能提升面臨的機(jī)遇,如IO設(shè)備跨越式發(fā)展(NVMe SSD充裕的IOPS和帶寬,多通道并發(fā)能力)。
針對(duì)文件系統(tǒng)元數(shù)據(jù)一直是文件系統(tǒng)的瓶頸問(wèn)題,單點(diǎn)元數(shù)據(jù)性能仍然存在很大的提升空間,如沒(méi)有充分發(fā)揮IO效能,沒(méi)有充分發(fā)揮計(jì)算效能等,本文提出改進(jìn)數(shù)據(jù)結(jié)構(gòu),降低IO之間的依賴,發(fā)揮并行IO能力(降低目錄路徑解析延遲,降低大目錄訪問(wèn)延遲,降低數(shù)據(jù)塊訪問(wèn)延遲)改進(jìn)算法,發(fā)揮計(jì)算部件的并行計(jì)算能力等措施。
針對(duì)文件系統(tǒng)元數(shù)據(jù)一直是文件系統(tǒng)的瓶頸問(wèn)題,單點(diǎn)元數(shù)據(jù)性能仍然存在很大的提升空間,如沒(méi)有充分發(fā)揮IO效能,沒(méi)有充分發(fā)揮計(jì)算效能等,本文提出改進(jìn)數(shù)據(jù)結(jié)構(gòu),降低IO之間的依賴,發(fā)揮并行IO能力(降低目錄路徑解析延遲,降低大目錄訪問(wèn)延遲,降低數(shù)據(jù)塊訪問(wèn)延遲)改進(jìn)算法,發(fā)揮計(jì)算部件的并行計(jì)算能力等措施。
-
存儲(chǔ)
+關(guān)注
關(guān)注
13文章
4627瀏覽量
89009 -
數(shù)據(jù)管理
+關(guān)注
關(guān)注
1文章
325瀏覽量
20359 -
文件系統(tǒng)
+關(guān)注
關(guān)注
0文章
298瀏覽量
20698
原文標(biāo)題:HPC并行文件:元數(shù)據(jù)如何縱向可擴(kuò)展?
文章出處:【微信號(hào):AI_Architect,微信公眾號(hào):智能計(jì)算芯世界】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
Linux文件系統(tǒng)簡(jiǎn)介

進(jìn)一步了解iMatrix平臺(tái)核心功能之系統(tǒng)元數(shù)據(jù)管理
數(shù)據(jù)管理功能詳解
【學(xué)習(xí)打卡】OpenHarmony的分布式數(shù)據(jù)管理介紹
采用信任管理的分布式文件系統(tǒng)TrustFs
文件系統(tǒng)管理操作
XfS文件系統(tǒng),XfS文件系統(tǒng)是什么意思
Ceph文件系統(tǒng)的數(shù)據(jù)緩存?zhèn)浞?/a>

文件系統(tǒng)是什么?淺談EXT文件系統(tǒng)歷史

基于分布式文件系統(tǒng)元數(shù)據(jù)操作優(yōu)化

Linux 內(nèi)核/sys 文件系統(tǒng)介紹

需要了解文件系統(tǒng)管理

FATFS文件系統(tǒng)詳解

關(guān)于元數(shù)據(jù)管理解析
Linux的文件系統(tǒng)特點(diǎn)

評(píng)論