基于mysql自有方式采集獲取監(jiān)控?cái)?shù)據(jù)

對(duì)于當(dāng)前數(shù)據(jù)庫(kù)的監(jiān)控方式有很多，分為數(shù)據(jù)庫(kù)自帶、商用、開(kāi)源三大類，每一種都有各自的特色；而對(duì)于 mysql 數(shù)據(jù)庫(kù)由于其有很高的社區(qū)活躍度，監(jiān)控方式更是多種多樣，不管哪種監(jiān)控方式最核心的就是監(jiān)控?cái)?shù)據(jù)，獲取得到全面的監(jiān)控?cái)?shù)據(jù)后就是靈活的展示部分。

那我們今天就介紹一下完全采用 mysql 自有方式采集獲取監(jiān)控?cái)?shù)據(jù)，在單體下達(dá)到最快速、方便、損耗最小。

本次文章完全使用 mysql 自帶的 show 命令實(shí)現(xiàn)獲取，從 connects、buffercache、lock、SQL、statement、Database throughputs、serverconfig 7 大方面全面獲取監(jiān)控?cái)?shù)據(jù)。

連接數(shù)（Connects）

最大使用連接數(shù)：

show?status?like?‘Max_used_connections’

當(dāng)前打開(kāi)的連接數(shù)：

show?status?like?‘Threads_connected’

緩存（bufferCache）

未從緩沖池讀取的次數(shù)：

show?status?like?‘Innodb_buffer_pool_reads’

從緩沖池讀取的次數(shù)：

show?status?like?‘Innodb_buffer_pool_read_requests’

緩沖池的總頁(yè)數(shù)：

show?status?like?‘Innodb_buffer_pool_pages_total’

緩沖池空閑的頁(yè)數(shù)：

show?status?like?‘Innodb_buffer_pool_pages_free’

緩存命中率計(jì)算：

（1-Innodb_buffer_pool_reads/Innodb_buffer_pool_read_requests）*100%

緩存池使用率為：

((Innodb_buffer_pool_pages_total-Innodb_buffer_pool_pages_free）/Innodb_buffer_pool_pages_total）*100%

鎖（lock）

鎖等待個(gè)數(shù)：

show?status?like?‘Innodb_row_lock_waits’

平均每次鎖等待時(shí)間：

show?status?like?‘Innodb_row_lock_time_avg’

查看是否存在表鎖：

show?open?TABLES?where?in_use>0；

有數(shù)據(jù)代表存在鎖表，空為無(wú)表鎖

備注：鎖等待統(tǒng)計(jì)得數(shù)量為累加數(shù)據(jù)，每次獲取得時(shí)候可以跟之前得數(shù)據(jù)進(jìn)行相減，得到當(dāng)前統(tǒng)計(jì)得數(shù)據(jù)

SQL

查看 mysql 開(kāi)關(guān)是否打開(kāi)：

show variables like ‘slow_query_log’；

ON 為開(kāi)啟狀態(tài)，如果為 OFF，set global slow_query_log=1 進(jìn)行開(kāi)啟

查看 mysql 閾值：

show variables like ‘long_query_time’；

根據(jù)頁(yè)面?zhèn)鬟f閾值參數(shù)，修改閾值 set global long_query_time=0.1

查看 mysql 慢 sql 目錄：

show variables like ‘slow_query_log_file’；

格式化慢 sql 日志：

mysqldumpslow?-s?at?-t?10?/export/data/mysql/log/slow.log

注：此語(yǔ)句通過(guò) jdbc 執(zhí)行不了，屬于命令行執(zhí)行。

意思為：顯示出耗時(shí)最長(zhǎng)的 10 個(gè) SQL 語(yǔ)句執(zhí)行信息，10 可以修改為 TOP 個(gè)數(shù)。顯示的信息為：執(zhí)行次數(shù)、平均執(zhí)行時(shí)間、SQL 語(yǔ)句

備注：當(dāng) mysqldumpslow 命令執(zhí)行失敗時(shí)，將慢日志同步到本地進(jìn)行格式化處理。

statement

insert 數(shù)量：show status like ‘Com_insert’

delete 數(shù)量：show status like ‘Com_delete’

update 數(shù)量：show status like ‘Com_update’

select 數(shù)量：show status like ‘Com_select’

吞吐（Database throughputs）

發(fā)送吞吐量：show status like ‘Bytes_sent’

接收吞吐量：show status like ‘Bytes_received’

總吞吐量：Bytes_sent+Bytes_received

數(shù)據(jù)庫(kù)參數(shù)（serverconfig）

show variables

慢 SQL

慢 SQL 指的是 MySQL 慢查詢，具體指運(yùn)行時(shí)間超過(guò) long_query_time 值的 SQL。

我們常聽(tīng) MySQL 中有二進(jìn)制日志 binlog、中繼日志 relaylog、重做回滾日志 redolog、undolog 等。針對(duì)慢查詢，還有一種慢查詢?nèi)罩?slowlog，用來(lái)記錄在 MySQL 中響應(yīng)時(shí)間超過(guò)閥值的語(yǔ)句。

慢 SQL 對(duì)實(shí)際生產(chǎn)業(yè)務(wù)影響是致命的，所以測(cè)試人員在性能測(cè)試過(guò)程中，對(duì)數(shù)據(jù)庫(kù) SQL 語(yǔ)句執(zhí)行情況實(shí)施監(jiān)控，給開(kāi)發(fā)提供準(zhǔn)確的性能優(yōu)化意見(jiàn)顯得尤為重要。那怎么使用 Mysql 數(shù)據(jù)庫(kù)提供的慢查詢?nèi)罩緛?lái)監(jiān)控 SQL 語(yǔ)句執(zhí)行情況，找到消耗較高的 SQL 語(yǔ)句，以下詳細(xì)說(shuō)明一下慢查詢?nèi)罩镜氖褂貌襟E：

確保打開(kāi)慢 SQL 開(kāi)關(guān) slow_query_log

設(shè)置慢 SQL 域值 long_query_time

這個(gè) long_query_time 是用來(lái)定義慢于多少秒的才算 “慢查詢”，注意單位是秒，我通過(guò)執(zhí)行 sql 指令 set long_query_time=1 來(lái)設(shè)置了 long_query_time 的值為 1, 也就是執(zhí)行時(shí)間超過(guò) 1 秒的都算慢查詢，如下：

查看慢 SQL 日志路徑

通過(guò)慢 sql 分析工具 mysqldumpslow 格式化分析慢 SQL 日志

mysqldumpslow 慢查詢分析工具，是 mysql 安裝后自帶的，可以通過(guò)./mysqldumpslow —help 查看使用參數(shù)說(shuō)明

常見(jiàn)用法：

取出使用最多的 10 條慢查詢

./mysqldumpslow?-s?c?-t?10?/export/data/mysql/log/slow.log

取出查詢時(shí)間最慢的 3 條慢查詢

./mysqldumpslow?-s?t?-t?3?/export/data/mysql/log/slow.log

注意：使用 mysqldumpslow 的分析結(jié)果不會(huì)顯示具體完整的 sql 語(yǔ)句，只會(huì)顯示 sql 的組成結(jié)構(gòu)；

假如:?SELECT?FROM?sms_send?WHERE?service_id=10?GROUP?BY?content?LIMIT?0,?1000;

mysqldumpslow 命令執(zhí)行后顯示：
Count:?2?Time=1.5s?(3s)?Lock=0.00s?(0s)?Rows=1000.0?(2000),?vgos_dba[vgos_dba]@[10.130.229.196]SELECT?FROM?sms_send?WHERE?service_id=N?GROUP?BY?content?LIMIT?N,?N

mysqldumpslow 的分析結(jié)果詳解：

Count：#表示該類型的語(yǔ)句執(zhí)行次數(shù)，上圖中表示 select 語(yǔ)句執(zhí)行了 2 次。
Time：#表示該類型的語(yǔ)句執(zhí)行的平均時(shí)間（總計(jì)時(shí)間）
Lock：#鎖時(shí)間?0s。
Rows：#單次返回的結(jié)果數(shù)是 1000?條記錄，2 次總共返回 2000?條記錄。

通過(guò)這個(gè)工具就可以查詢出來(lái)哪些 sql 語(yǔ)句是慢 SQL，從而反饋研發(fā)進(jìn)行優(yōu)化，比如加索引，該應(yīng)用的實(shí)現(xiàn)方式等。

常見(jiàn)慢 SQL 排查

不使用子查詢

SELECT?FROM?t1?WHERE?id?(SELECT?id?FROM?t2?WHERE?name=’hechunyang’);

子查詢?cè)?MySQL5.5 版本里，內(nèi)部執(zhí)行計(jì)劃器是這樣執(zhí)行的：先查外表再匹配內(nèi)表，而不是先查內(nèi)表 t2，當(dāng)外表的數(shù)據(jù)很大時(shí)，查詢速度會(huì)非常慢。

在 MariaDB10/MySQL5.6 版本里，采用 join 關(guān)聯(lián)方式對(duì)其進(jìn)行了優(yōu)化，這條 SQL 會(huì)自動(dòng)轉(zhuǎn)換為 SELECT t1. FROM t1 JOIN t2 ON t1.id = t2.id;

但請(qǐng)注意的是：優(yōu)化只針對(duì) SELECT 有效，對(duì) UPDATE/DELETE 子查詢無(wú)效，生產(chǎn)環(huán)境盡量應(yīng)避免使用子查詢。

避免函數(shù)索引

SELECT?FROM?t?WHERE?YEAR(d)?>=?2016;

由于 MySQL 不像 Oracle 那樣?持函數(shù)索引，即使 d 字段有索引，也會(huì)直接全表掃描。

應(yīng)改為 > SELECT FROM t WHERE d >= ‘2016-01-01’;

用 IN 來(lái)替換 OR 低效查詢

慢 SELECT FROM t WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30;

高效查詢 > SELECT FROM t WHERE LOC_IN IN (10,20,30);

LIKE 雙百分號(hào)無(wú)法使用到索引

SELECT?FROM?t?WHERE?name?LIKE?‘%de%’;

使用

SELECT?FROM?t?WHERE?name?LIKE?‘de%’;

分組統(tǒng)計(jì)可以禁止排序

SELECT?goods_id,count()?FROM?t?GROUP?BY?goods_id;

默認(rèn)情況下，MySQL 對(duì)所有 GROUP BY col1，col2… 的字段進(jìn)?排序。如果查詢包括 GROUP BY，想要避免排序結(jié)果的消耗，則可以指定 ORDER BY NULL 禁止排序。

使用 SELECT goods_id,count () FROM t GROUP BY goods_id ORDER BY NULL;

禁止不必要的 ORDER BY 排序

SELECT?count(1)?FROM?user?u?LEFT?JOIN?user_info?i?ON?u.id?=?i.user_id?WHERE?1?=?1?ORDER?BY?u.create_time?DESC;

使用 SELECT count (1) FROM user u LEFT JOIN user_info i ON u.id = i.user_id;

總結(jié)

任何東西不應(yīng)過(guò)重關(guān)注其外表，要注重內(nèi)在的東西，往往絢麗的外表下會(huì)有對(duì)應(yīng)的負(fù)擔(dān)和損耗。

mysql 數(shù)據(jù)庫(kù)的監(jiān)控支持通過(guò) SQL 方式從 performance_schema 庫(kù)中訪問(wèn)對(duì)應(yīng)的表數(shù)據(jù)，前提是初始化此庫(kù)并開(kāi)啟監(jiān)控?cái)?shù)據(jù)寫入。

對(duì)于監(jiān)控而言，不在于手段的多樣性，而需要明白監(jiān)控的本質(zhì)，以及需要的監(jiān)控項(xiàng)內(nèi)容，找到符合自身項(xiàng)目特色的監(jiān)控方式。

在選擇監(jiān)控工具對(duì) mysql 監(jiān)控時(shí)，需要關(guān)注監(jiān)控工具本身對(duì)于數(shù)據(jù)庫(kù)服務(wù)器的消耗，不要影響到其自身的使用。

編輯：黃飛

閱讀全文