摘要：?NAS“日志分析”新功能，旨在幫助用戶更好地監(jiān)控文件系統(tǒng)資源。通過該功能，用戶可以方便地跟蹤系統(tǒng)性能問題，記錄文件系統(tǒng)上的數(shù)據(jù)操作情況，審計(jì)文件刪除等相關(guān)操作，有效監(jiān)控各區(qū)域內(nèi)文件系統(tǒng)資源大盤和明細(xì)信息，實(shí)時(shí)報(bào)警等

NAS文件存儲(chǔ)是阿里云提供給用戶的云上高性能文件系統(tǒng)存儲(chǔ)服務(wù)。數(shù)據(jù)安全和性能是用戶對(duì)文件存儲(chǔ)服務(wù)最關(guān)注的兩大因素，經(jīng)常有用戶反映以下這些情況：

? ? -? 我想查看自己的文件存儲(chǔ)服務(wù)性能指標(biāo)（吞吐，iops等等）

? ? -? 我想了解自己的文件系統(tǒng)內(nèi)數(shù)據(jù)操作分布（讀、寫、新建、刪除）

? ? -? 我的文件系統(tǒng)內(nèi)某某文件怎么沒了？（文件誤刪除）

為了更好地服務(wù)用戶，讓用戶清晰地了解到自己的文件系統(tǒng)在云上的運(yùn)行狀況，我們新推出了“NAS日志分析”功能，旨在幫助用戶更好地管理文件系統(tǒng)資源。通過該功能，用戶可以方便地跟蹤系統(tǒng)性能問題，記錄文件系統(tǒng)上的數(shù)據(jù)操作情況，審計(jì)文件刪除等相關(guān)操作，有效監(jiān)控各區(qū)域內(nèi)文件系統(tǒng)資源大盤和明細(xì)信息，實(shí)時(shí)報(bào)警等。

NAS日志分析功能是阿里云文件存儲(chǔ)（NAS）和日志服務(wù)（SLS）聯(lián)合研發(fā)出的一個(gè)內(nèi)建于NAS控制臺(tái)內(nèi)的日志分析功能，該日志分析服務(wù)能夠?qū)崟r(shí)寫入10M/s 的日志數(shù)據(jù)，并實(shí)時(shí)分析每秒1000萬行的日志記錄，計(jì)算處理延時(shí)在秒級(jí)別以內(nèi)。

1. 如何開通

目前NAS日志分析功能處于上線公測(cè)階段，需要用戶主動(dòng)申請(qǐng)開通服務(wù)。

具體步驟如下：

步驟一，申請(qǐng)開通

登錄阿里云官網(wǎng)NAS控制臺(tái)，在控制臺(tái)首頁找到“NAS現(xiàn)已開通用戶級(jí)監(jiān)控”一欄，并點(diǎn)擊“申請(qǐng)”按鈕

步驟二，填寫申請(qǐng)信息

填寫具體的申請(qǐng)信息后，點(diǎn)擊提交

步驟三，等待審批通過

等待阿里云后臺(tái)運(yùn)營人員審批通過，在審批通過后，在NAS控制臺(tái)左側(cè)導(dǎo)航欄中將會(huì)顯示“日志分析”一欄

步驟四，進(jìn)行日志授權(quán)

“NAS日志分析”功能涉及到使用用戶自己的日志存儲(chǔ)（由日志服務(wù)SLS提供），需要用戶授權(quán)NAS服務(wù)將日志數(shù)據(jù)寫入日志存儲(chǔ)的相關(guān)權(quán)限。

用戶需要如下操作：

點(diǎn)擊“日志分析”->“日志管理”一欄，在右側(cè)主頁中點(diǎn)擊“授權(quán)入口”，授權(quán)阿里云NAS服務(wù)可以寫入您的日志存儲(chǔ)數(shù)據(jù)。

在跳轉(zhuǎn)的授權(quán)頁面中，點(diǎn)擊“同意授權(quán)”。

步驟五，創(chuàng)建相應(yīng)文件系統(tǒng)的日志轉(zhuǎn)儲(chǔ)

相關(guān)授權(quán)操作完成后，即可創(chuàng)建您相應(yīng)文件系統(tǒng)的日志轉(zhuǎn)儲(chǔ)，將對(duì)應(yīng)文件系統(tǒng)的運(yùn)行日志導(dǎo)入您自己的日志存儲(chǔ)（Log Store）中，以進(jìn)行后續(xù)的日志分析工作。

至此，您已完成了NAS日志分析功能的完整配置。NAS日志數(shù)據(jù)已經(jīng)導(dǎo)入到您自己的日志存儲(chǔ)中，日志服務(wù)會(huì)在后臺(tái)為您的NAS日志數(shù)據(jù)進(jìn)行分析，隨后您即可看到相關(guān)的日志分析信息。

?

2. 使用指南

在用戶完成上述的服務(wù)開通和配置后，用戶即可瀏覽相關(guān)的日志分析數(shù)據(jù)。

2.1 日志管理

登錄阿里云官網(wǎng)NAS控制臺(tái)，在左側(cè)導(dǎo)航欄中點(diǎn)擊“日志分析”->“日志管理”一欄，展示NAS日志分析功能的日志管理視圖

上圖右側(cè)列表中列出的2個(gè)文件系統(tǒng)表明已經(jīng)由用戶配置了日志分析功能，可以通過左側(cè)的分析視圖查詢這2個(gè)文件系統(tǒng)相關(guān)的日志分析數(shù)據(jù)。

在列表的右側(cè)有“操作”一欄，其中：

“點(diǎn)擊前往”鏈接去往該日志最終存儲(chǔ)的日志服務(wù)（SLS）控制臺(tái)，在那里用戶可以進(jìn)行更細(xì)化的日志分析行為；

“停止”可以讓用戶手動(dòng)關(guān)停某個(gè)文件系統(tǒng)的日志分析服務(wù)，該文件系統(tǒng)將從日志管理列表中移除，并停止日志數(shù)據(jù)的采集過程。

?

2.2 日志視圖

用戶在對(duì)已經(jīng)配置了日志分析服務(wù)的文件系統(tǒng)進(jìn)行一段時(shí)間的數(shù)據(jù)訪問和操作后，系統(tǒng)會(huì)產(chǎn)生相關(guān)的訪問日志，并采集相關(guān)日志數(shù)據(jù)，將其轉(zhuǎn)儲(chǔ)到日志服務(wù)（SLS）的Log Store中，日志服務(wù)對(duì)采集到的日志數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，隨后，用戶就可以通過日志視圖查詢到相關(guān)的分析和統(tǒng)計(jì)數(shù)據(jù)。

如上圖左側(cè)紅框所示，目前提供了三個(gè)維度的文件系統(tǒng)日志分析視圖：

總覽視圖：總覽該區(qū)域內(nèi)各個(gè)文件系統(tǒng)的總體指標(biāo)、操作分布、客戶端分布等

明細(xì)視圖：詳細(xì)展示具體的讀寫數(shù)據(jù)流、操作趨勢(shì)、平均讀寫大小、異常狀態(tài)等

審計(jì)視圖：展示文件系統(tǒng)的創(chuàng)建、刪除、讀取、寫入的審計(jì)信息等

?

2.2.1 總覽視圖

總覽視圖展示相應(yīng)區(qū)域內(nèi)文件系統(tǒng)資源訪問的整體情況，包括分析的文件系統(tǒng)個(gè)數(shù)、總的寫入流量和讀取流量、最近訪問的客戶端個(gè)數(shù)、每個(gè)文件系統(tǒng)的客戶端分布情況、創(chuàng)建、刪除、讀寫數(shù)據(jù)的整體分布情況等。

2.2.2 明細(xì)視圖

明細(xì)視圖詳細(xì)展示具體文件系統(tǒng)的數(shù)據(jù)操作細(xì)節(jié)。

寫->讀數(shù)據(jù)流

展示了每個(gè)文件系統(tǒng)數(shù)據(jù)流入流出的情況，圖表左側(cè)表示客戶端向文件系統(tǒng)寫入數(shù)據(jù)，右側(cè)表示客戶端從文件系統(tǒng)讀出數(shù)據(jù)。

最近訪問的文件數(shù)量

展示了每個(gè)文件系統(tǒng)內(nèi)最近訪問的文件數(shù)量

操作趨勢(shì)

展示了每個(gè)文件系統(tǒng)（NFS類型）在操作過程中單位時(shí)間內(nèi)NFS協(xié)議的交互次數(shù)。

寫/讀操作流量趨勢(shì)

展示了每個(gè)文件系統(tǒng)在讀寫數(shù)據(jù)時(shí)單位時(shí)間內(nèi)的數(shù)據(jù)流量統(tǒng)計(jì)

平均寫/讀操作大小

展示了每個(gè)文件系統(tǒng)在讀寫數(shù)據(jù)時(shí)單位時(shí)間內(nèi)平均單次IO的讀寫數(shù)據(jù)塊大小

讀寫客戶端Top

展示了客戶端對(duì)相關(guān)文件系統(tǒng)操作的分布和熱度

操作錯(cuò)誤Top客戶端

展示了客戶端在與文件系統(tǒng)的NFS協(xié)議交互中返回錯(cuò)誤狀態(tài)的分布情況，這個(gè)“錯(cuò)誤”不代表服務(wù)端異常，而是正常的協(xié)議交互錯(cuò)誤，比如：客戶端ls某個(gè)文件，而該文件不存在。

這個(gè)指標(biāo)可以在一定程度上反向指導(dǎo)上層業(yè)務(wù)是否發(fā)生異常或者存在bug，比如，我們?cè)?jīng)遇到過一個(gè)客戶案例，其有一個(gè)后臺(tái)批處理應(yīng)用頻繁遍歷若干不存在的目錄，該指標(biāo)值會(huì)瞬間拉升，最終發(fā)現(xiàn)是由于批處理進(jìn)程存在一個(gè)遍歷目錄的bug，將路徑拼錯(cuò)，導(dǎo)致業(yè)務(wù)暫停，造成了一定的損失。通過該指標(biāo)，再結(jié)合相關(guān)報(bào)警，可以從數(shù)據(jù)源頭感知業(yè)務(wù)的變化，從而幫助業(yè)務(wù)系統(tǒng)快速發(fā)現(xiàn)問題，解決問題。

熱點(diǎn)操作分布

展示了每個(gè)文件系統(tǒng)常見操作的分布情況，這些常見操作包括創(chuàng)建目錄（mkdir）、讀目錄（ls，遍歷目錄下的文件）、寫（write）、讀（read）、刪除（rm）、重命名（rename）、以及其他。

熱門文件

展示了每個(gè)文件系統(tǒng)內(nèi)被訪問頻次較高的文件的分布情況，目前僅分析到文件所在inode，并沒有給出文件在文件系統(tǒng)內(nèi)的全路徑，用戶可以使用debugfs等相關(guān)工具根據(jù)文件inode反查pathname

異常操作分布

展示了每個(gè)文件系統(tǒng)內(nèi)異常操作的分布情況，如鑒權(quán)失敗、網(wǎng)絡(luò)錯(cuò)誤、讀寫錯(cuò)誤等

操作狀態(tài)分布

展示了每個(gè)文件系統(tǒng)內(nèi)整體操作的分布情況

2.2.3 審計(jì)視圖

審計(jì)視圖展示各文件系統(tǒng)內(nèi)的敏感操作的審計(jì)信息和歷史記錄

創(chuàng)建操作數(shù)

展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的創(chuàng)建文件數(shù)量和分布

刪除文件數(shù)

展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的刪除文件數(shù)量和分布

讀取文件數(shù)

展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的讀取文件數(shù)量和分布

寫入文件數(shù)

展示了每個(gè)文件系統(tǒng)在統(tǒng)計(jì)時(shí)間內(nèi)的寫入文件數(shù)量和分布

文件操作趨勢(shì)圖

在時(shí)間軸上展示了區(qū)域內(nèi)所有文件系統(tǒng)的常見操作的分布和趨勢(shì)，常見操作包括讀文件、寫文件、刪除文件、創(chuàng)建文件等。

最近被刪除文件列表

展示了該區(qū)域內(nèi)最近發(fā)生刪除操作的目錄的歷史列表，列表中包含了被刪除文件所在父目錄的inode、所在文件系統(tǒng)、執(zhí)行刪除操作的來源IP、掛載文件系統(tǒng)的NFS版本號(hào)、該目錄下最近刪除文件數(shù)目等信息

最近創(chuàng)建的文件

展示了該區(qū)域內(nèi)最近發(fā)生創(chuàng)建操作的目錄的歷史列表，列表中包含了被創(chuàng)建文件所在父目錄的inode、所在文件系統(tǒng)、執(zhí)行創(chuàng)建操作的來源IP、掛載文件系統(tǒng)的NFS版本號(hào)、該目錄下最近創(chuàng)建文件數(shù)目等信息

最近寫文件Top

展示了該區(qū)域內(nèi)最近發(fā)生寫操作的文件Top榜，列表中包含了寫操作所在文件系統(tǒng)、寫操作文件inode、統(tǒng)計(jì)時(shí)間內(nèi)的寫數(shù)據(jù)大小、執(zhí)行寫操作的客戶端數(shù)量、掛載文件系統(tǒng)的NFS版本號(hào)等信息

最近讀文件Top

展示了該區(qū)域內(nèi)最近發(fā)生讀操作的文件Top榜，列表中包含了讀操作所在文件系統(tǒng)、讀操作文件inode、統(tǒng)計(jì)時(shí)間內(nèi)的讀數(shù)據(jù)大小、執(zhí)行讀操作的客戶端數(shù)量、掛載文件系統(tǒng)的NFS版本號(hào)等信息

?

2.3 日志字段詳解

在用戶完成日志配置后，文件系統(tǒng)的訪問日志將轉(zhuǎn)儲(chǔ)到日志服務(wù)（SLS）的Log Store中，通過“日志管理”列表中的操作欄“點(diǎn)擊前往”可以進(jìn)入SLS詳情頁查看具體的NAS日志數(shù)據(jù)，其具體日志字段釋義如下：

3. 注意事項(xiàng)

??-? 關(guān)于日志分析是否跨區(qū)域

? ? ? 不跨區(qū)域。

? ? ? NAS日志分析功能目前以區(qū)域（Region）劃分，如華北1、華北2、華東1、華東2，不同區(qū)域產(chǎn)生各自的日志分析視圖，同一個(gè)區(qū)域內(nèi)的多個(gè)文件系統(tǒng)的日志數(shù)據(jù)做聚合分析，目前暫不支持對(duì)跨區(qū)域的文件系統(tǒng)做聚合分析。

? -? 關(guān)于文件系統(tǒng)類型的支持

? ? ? 目前NAS日志分析功能僅支持NFS協(xié)議類型，后續(xù)會(huì)支持SMB等其他類型。

? -? 關(guān)于日志分析結(jié)果的延遲

? ? ? 正常情況下，NAS日志從被采集到轉(zhuǎn)儲(chǔ)，到最終分析出結(jié)果，最大延遲在10s以內(nèi)。

? -? 關(guān)于收費(fèi)

? ? ??NAS日志分析功能，目前處于申請(qǐng)公測(cè)階段，在此期間，該功能不會(huì)產(chǎn)生任何費(fèi)用。在公測(cè)階段結(jié)束后，NAS可以免費(fèi)將日志數(shù)據(jù)開放給用戶，但日志存儲(chǔ)和日志分析需要使用日志服務(wù)（SLS）的相關(guān)功能，其計(jì)費(fèi)標(biāo)準(zhǔn)可以參考現(xiàn)行日志服務(wù)（SLS）的計(jì)費(fèi)說明。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。