binary_log 是一個(gè)用于 C++ 的快速二進(jìn)制記錄器。

Highlights

• 以緊湊的二進(jìn)制格式記錄消息
• 快速地
  • 每秒數(shù)億條日志
  • 基本數(shù)據(jù)類型的平均延遲為2-7 ns
  • 查看基準(zhǔn)
• 提供解包器來壓縮日志消息
• 使用?fmtlib?格式化日志
• 同步日志記錄 - 不是線程安全的
• Header-only library
  • 此處提供單個(gè)頭文件版本
• 需要 C++20

Usage and Performance

以下代碼將 10 億個(gè)整數(shù)記錄到文件中。

#include <binary_log/binary_log.hpp>

int main()
{
  binary_log::binary_log log("log.out");

  for (int i = 0; i < 1E9; ++i)
    BINARY_LOG(log, "Hello logger, msg number: {}", i);
}

在一個(gè)現(xiàn)代工作站桌面上，上述代碼的執(zhí)行時(shí)間為~3.5秒。

foo@bar:~/dev/binary_log$ time ./build/examples/billion_integers/billion_integers

real    0m3.561s
user    0m2.422s
sys     0m1.141s

foo@bar:~/dev/binary_log$ ls -lart log.out*
-rw-r--r-- 1 pranav pranav          6 Dec  6 07:52 log.out.runlength
-rw-r--r-- 1 pranav pranav         32 Dec  6 07:52 log.out.index
-rw-r--r-- 1 pranav pranav 4999934337 Dec  6 07:52 log.out

設(shè)計(jì)目標(biāo)和決策

• 實(shí)現(xiàn)單線程同步記錄器 - 不提供線程安全
  • 如果用戶想要多線程行為，用戶可以選擇并實(shí)現(xiàn)自己的排隊(duì)解決方案
  • 有許多眾所周知的無鎖隊(duì)列可用于此目的（moody::concurrentqueue、atomic_queue等）——讓用戶選擇他們想要使用的技術(shù)。
  • 進(jìn)入無鎖隊(duì)列的延遲足夠大
    • 不關(guān)心多線程場(chǎng)景的用戶不應(yīng)該為此付出代價(jià)
    • 查看atomic_queue benchmarks，在許多最先進(jìn)的多生產(chǎn)者、多消費(fèi)者隊(duì)列中發(fā)送和接收 4 字節(jié)整數(shù)（在 2 個(gè)線程之間，使用 2 個(gè)隊(duì)列）的平均往返延遲約為150-250 納秒。
• 避免多次寫入靜態(tài)信息
  • 靜態(tài)信息示例：格式字符串、格式參數(shù)的數(shù)量以及每個(gè)格式參數(shù)的類型
  • 將靜態(tài)信息存儲(chǔ)在“索引”文件中
  • 將動(dòng)態(tài)信息存儲(chǔ)在日志文件中（盡可能參考索引文件）
• 在運(yùn)行時(shí) hot path?中做盡可能少的工作
  • 沒有任何形式的格式
  • 所有格式化都將使用解壓縮二進(jìn)制日志的解包器脫機(jī)進(jìn)行

運(yùn)作方式

binary_log?將日志拆分為三個(gè)文件：