寫(xiě)在前面

最近，有小伙伴在群里提問(wèn)：Linux系統(tǒng)怎么設(shè)置tcp_nodelay參數(shù)？也有小伙伴說(shuō)問(wèn)我。那今天，我們就來(lái)根據(jù)這個(gè)問(wèn)題來(lái)聊聊在高并發(fā)場(chǎng)景下如何優(yōu)化服務(wù)器的性能這個(gè)話題。

其實(shí)，tcp_nodelay參數(shù)并不是在操作系統(tǒng)級(jí)別進(jìn)行配置的，而是在TCP套接字上添加tcp_nodelay參數(shù)來(lái)關(guān)閉粘包算法，以便使數(shù)據(jù)包能夠立即投遞出去。tcp_nodelay參數(shù)主要是對(duì)TCP套接字來(lái)說(shuō)的，那對(duì)于服務(wù)器硬件，如果要使其能夠支撐上百萬(wàn)甚至上千萬(wàn)的并發(fā)，我們?cè)撊绾螌?duì)其進(jìn)行優(yōu)化呢？

操作系統(tǒng)

這里，我使用的操作系統(tǒng)為CentOS 8，我們可以輸入如下命令來(lái)查看操作系統(tǒng)的版本。

CentOSLinuxrelease8.0.1905(Core)

對(duì)于高并發(fā)的場(chǎng)景，我們主要還是優(yōu)化操作系統(tǒng)的網(wǎng)絡(luò)性能，而操作系統(tǒng)中，有很多關(guān)于網(wǎng)絡(luò)協(xié)議的參數(shù)，我們對(duì)于服務(wù)器網(wǎng)絡(luò)性能的優(yōu)化，主要是對(duì)這些系統(tǒng)參數(shù)進(jìn)行調(diào)優(yōu)，以達(dá)到提升我們應(yīng)用訪問(wèn)性能的目的。

系統(tǒng)參數(shù)

在CentOS 操作系統(tǒng)中，我們可以通過(guò)如下命令來(lái)查看所有的系統(tǒng)參數(shù)。

/sbin/sysctl-a

部分輸出結(jié)果如下所示。

這里的參數(shù)太多了，大概有一千多個(gè)，在高并發(fā)場(chǎng)景下，我們不可能對(duì)操作系統(tǒng)的所有參數(shù)進(jìn)行調(diào)優(yōu)。我們更多的是關(guān)注與網(wǎng)絡(luò)相關(guān)的參數(shù)。如果想獲得與網(wǎng)絡(luò)相關(guān)的參數(shù)，那么，我們首先需要獲取操作系統(tǒng)參數(shù)的類(lèi)型，如下命令可以獲取操作系統(tǒng)參數(shù)的類(lèi)型。

/sbin/sysctl-a|awk-F"."'{print$1}'|sort-k1|uniq

運(yùn)行命令輸出的結(jié)果信息如下所示。

abi
crypto
debug
dev
fs
kernel
net
sunrpc
user
vm

其中的net類(lèi)型就是我們要關(guān)注的與網(wǎng)絡(luò)相關(guān)的操作系統(tǒng)參數(shù)。我們可以獲取net類(lèi)型下的子類(lèi)型，如下所示。

/sbin/sysctl-a|grep"^net."|awk-F"[.|]"'{print$2}'|sort-k1|uniq

輸出的結(jié)果信息如下所示。

bridge
core
ipv4
ipv6
netfilter
nf_conntrack_max
unix

在Linux操作系統(tǒng)中，這些與網(wǎng)絡(luò)相關(guān)的參數(shù)都可以在/etc/sysctl.conf 文件里修改，如果/etc/sysctl.conf 文件中不存在這些參數(shù)，我們可以自行在/etc/sysctl.conf 文件中添加這些參數(shù)。

在net類(lèi)型的子類(lèi)型中，我們需要重點(diǎn)關(guān)注的子類(lèi)型有：core和ipv4。

優(yōu)化套接字緩沖區(qū)

如果服務(wù)器的網(wǎng)絡(luò)套接字緩沖區(qū)太小，就會(huì)導(dǎo)致應(yīng)用程序讀寫(xiě)多次才能將數(shù)據(jù)處理完，這會(huì)大大影響我們程序的性能。如果網(wǎng)絡(luò)套接字緩沖區(qū)設(shè)置的足夠大，從一定程度上能夠提升我們程序的性能。

我們可以在服務(wù)器的命令行輸入如下命令，來(lái)獲取有關(guān)服務(wù)器套接字緩沖區(qū)的信息。

/sbin/sysctl-a|grep"^net."|grep"[r|w|_]mem[_|]"

輸出的結(jié)果信息如下所示。

net.core.rmem_default=212992
net.core.rmem_max=212992
net.core.wmem_default=212992
net.core.wmem_max=212992
net.ipv4.tcp_mem=435455806287090
net.ipv4.tcp_rmem=4096873806291456
net.ipv4.tcp_wmem=4096163844194304
net.ipv4.udp_mem=87093116125174186
net.ipv4.udp_rmem_min=4096
net.ipv4.udp_wmem_min=4096

其中，帶有max、default、min關(guān)鍵字的為分別代表：最大值、默認(rèn)值和最小值；帶有mem、rmem、wmem關(guān)鍵字的分別為：總內(nèi)存、接收緩沖區(qū)內(nèi)存、發(fā)送緩沖區(qū)內(nèi)存。

這里需要注意的是：帶有rmem 和 wmem關(guān)鍵字的單位都是“字節(jié)”，而帶有mem關(guān)鍵字的單位是“頁(yè)”?！绊?yè)”是操作系統(tǒng)管理內(nèi)存的最小單位，在 Linux 系統(tǒng)里，默認(rèn)一頁(yè)是 4KB 大小。

如何優(yōu)化頻繁收發(fā)大文件

如果在高并發(fā)場(chǎng)景下，需要頻繁的收發(fā)大文件，我們?cè)撊绾蝺?yōu)化服務(wù)器的性能呢？

這里，我們可以修改的系統(tǒng)參數(shù)如下所示。

net.core.rmem_default
net.core.rmem_max
net.core.wmem_default
net.core.wmem_max
net.ipv4.tcp_mem
net.ipv4.tcp_rmem
net.ipv4.tcp_wmem

這里，我們做個(gè)假設(shè)，假設(shè)系統(tǒng)最大可以給TCP分配 2GB 內(nèi)存，最小值為 256MB，壓力值為 1.5GB。按照一頁(yè)為 4KB 來(lái)計(jì)算， tcp_mem 的最小值、壓力值、最大值分別是 65536、393216、524288，單位是“頁(yè)” 。

假如平均每個(gè)文件數(shù)據(jù)包為 512KB，每個(gè)套接字讀寫(xiě)緩沖區(qū)最小可以各容納 2 個(gè)數(shù)據(jù)包，默認(rèn)可以各容納 4 個(gè)數(shù)據(jù)包，最大可以各容納 10 個(gè)數(shù)據(jù)包，那我們可以算出 tcp_rmem 和 tcp_wmem 的最小值、默認(rèn)值、最大值分別是 1048576、2097152、5242880，單位是“字節(jié)”。而 rmem_default 和 wmem_default 是 2097152，rmem_max 和 wmem_max 是 5242880。

注：后面詳細(xì)介紹這些數(shù)值是如何計(jì)算的~~

這里，還需要注意的是：緩沖區(qū)超過(guò)了 65535，還需要將 net.ipv4.tcp_window_scaling 參數(shù)設(shè)置為 1。

經(jīng)過(guò)上面的分析后，我們最終得出的系統(tǒng)調(diào)優(yōu)參數(shù)如下所示。

net.core.rmem_default=2097152
net.core.rmem_max=5242880
net.core.wmem_default=2097152
net.core.wmem_max=5242880
net.ipv4.tcp_mem=65536393216524288
net.ipv4.tcp_rmem=104857620971525242880
net.ipv4.tcp_wmem=104857620971525242880

優(yōu)化TCP連接

對(duì)計(jì)算機(jī)網(wǎng)絡(luò)有一定了解的小伙伴都知道，TCP的連接需要經(jīng)過(guò)“三次握手”和“四次揮手”的，還要經(jīng)過(guò)慢啟動(dòng)、滑動(dòng)窗口、粘包算法等支持可靠性傳輸?shù)囊幌盗屑夹g(shù)支持。雖然，這些能夠保證TCP協(xié)議的可靠性，但有時(shí)這會(huì)影響我們程序的性能。

那么，在高并發(fā)場(chǎng)景下，我們?cè)撊绾蝺?yōu)化TCP連接呢？

（1）關(guān)閉粘包算法

如果用戶(hù)對(duì)于請(qǐng)求的耗時(shí)很敏感，我們就需要在TCP套接字上添加tcp_nodelay參數(shù)來(lái)關(guān)閉粘包算法，以便數(shù)據(jù)包能夠立刻發(fā)送出去。此時(shí)，我們也可以設(shè)置net.ipv4.tcp_syncookies的參數(shù)值為1。

（2）避免頻繁的創(chuàng)建和回收連接資源

網(wǎng)絡(luò)連接的創(chuàng)建和回收是非常消耗性能的，我們可以通過(guò)關(guān)閉空閑的連接、重復(fù)利用已經(jīng)分配的連接資源來(lái)優(yōu)化服務(wù)器的性能。重復(fù)利用已經(jīng)分配的連接資源大家其實(shí)并不陌生，像：線程池、數(shù)據(jù)庫(kù)連接池就是復(fù)用了線程和數(shù)據(jù)庫(kù)連接。

我們可以通過(guò)如下參數(shù)來(lái)關(guān)閉服務(wù)器的空閑連接和復(fù)用已分配的連接資源。

net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_fin_timeout=30
net.ipv4.tcp_keepalive_time=1800

（3）避免重復(fù)發(fā)送數(shù)據(jù)包

TCP支持超時(shí)重傳機(jī)制。如果發(fā)送方將數(shù)據(jù)包已經(jīng)發(fā)送給接收方，但發(fā)送方并未收到反饋，此時(shí)，如果達(dá)到設(shè)置的時(shí)間間隔，就會(huì)觸發(fā)TCP的超時(shí)重傳機(jī)制。為了避免發(fā)送成功的數(shù)據(jù)包再次發(fā)送，我們需要將服務(wù)器的net.ipv4.tcp_sack參數(shù)設(shè)置為1。

（4）增大服務(wù)器文件描述符數(shù)量

在Linux操作系統(tǒng)中，一個(gè)網(wǎng)絡(luò)連接也會(huì)占用一個(gè)文件描述符，連接越多，占用的文件描述符也就越多。如果文件描述符設(shè)置的比較小，也會(huì)影響我們服務(wù)器的性能。此時(shí)，我們就需要增大服務(wù)器文件描述符的數(shù)量。

例如：fs.file-max = 10240000，表示服務(wù)器最多可以打開(kāi)10240000個(gè)文件。

好了，本文結(jié)合群內(nèi)讀者的提問(wèn)進(jìn)行了一些總結(jié)，希望能夠給小伙伴們帶來(lái)實(shí)質(zhì)性的幫助。

審核編輯：劉清