研究者對 Llama 2 的二次開發(fā)項(xiàng)目是越來越多了。

前些天，Meta 發(fā)布的免費(fèi)可商用版本 Llama 2，可謂在 AI 界引起了巨大的轟動。

Meta 一口氣發(fā)布了多個(gè)模型系列：包含 70 億、130 億和 700 億三種參數(shù)變體，此外還訓(xùn)練了一個(gè) 340 億參數(shù)變體。

公布的測評結(jié)果顯示，Llama 2 在包括推理、編碼、精通性和知識測試等許多外部基準(zhǔn)測試中都優(yōu)于其他開源語言模型。

不同于 ChatGPT、GPT-4 等閉源模型，由于 Llama 2 可用于商業(yè)目的，一經(jīng)發(fā)布就吸引了一大波 AI 研究人員的注意。由于任何人都可以通過在 Meta 網(wǎng)站上填寫表格來請求下載 Llama 2，根據(jù)官方消息，自發(fā)布以來，Llama 2 一周內(nèi)就有超過 15 萬次的下載請求。Meta 對于這一數(shù)字的描述是難以置信，并且用戶請求數(shù)量還在增長。

Llama 2 請求地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

來源：https://ai.meta.com/blog/llama-2-update/?utm_source=twitter&utm_medium=organic_social&utm_campaign=llama2&utm_content=card

隨著 Llama 2 的逐漸走紅，大家對它的二次開發(fā)開始流行起來。前幾天，OpenAI 科學(xué)家 Karpathy 利用周末時(shí)間開發(fā)了一個(gè)明星項(xiàng)目 llama2.c，借助 GPT-4，該項(xiàng)目僅用 500 行 C 語言就實(shí)現(xiàn)了對 Llama 2 baby 模型的推理。該項(xiàng)目可以在蘋果 M1 筆記本上每秒輸出 98 個(gè) token。

剛剛，又有一個(gè)和 LLaMA 2 相關(guān)的項(xiàng)目 llama2.rs 開始得到大家的關(guān)注，項(xiàng)目作者是來自康奈爾大學(xué)的助理教授 Alexander Rush。

總結(jié)而言，該項(xiàng)目主要是用 Rust 實(shí)現(xiàn) Llama2，結(jié)果表明，用這種方式實(shí)現(xiàn)的 LLaMA 2 非常安全，而且很快。值得一提的是，該項(xiàng)目用到了 Karpathy 的 llama2.c 項(xiàng)目的 Rust 端口。

項(xiàng)目地址：https://github.com/srush/llama2.rs

深度學(xué)習(xí)三巨頭之一的 Yann LeCun 也宣傳了一波：

接下來我們看看，如何使用 llama2.rs。

構(gòu)建 llama2.rs 非常簡單，只需一行代碼：

> cargo build --release

運(yùn)行程序如下，顯示 tok/s 為 0.92618316：

> target/release/llama2_rs ../llama2.c/llama2_7b.bin 0.0 11 "The only thing"
The only thing that is certain in life is change.
achieved tok/s: 0.92618316

作為對比，下面是作者在電腦上運(yùn)行原始 llama2.c，顯示 tok/s 為 0.139889：

> ./run llama2_7b.bin 0.0 11 "The only thing"
The only thing that is certain in life is change.
achieved tok/s: 0.139889

在談到為何開發(fā)這一項(xiàng)目時(shí)，Alexander Rush 表示，自己只是想做一些關(guān)于 Rust 的練習(xí)，與此同時(shí)，學(xué)習(xí)該如何進(jìn)行程序移植，比如內(nèi)存映射、并行處理和一些數(shù)學(xué)技巧。

接下來，Alexander Rush 打算嘗試移植 minitorch，感興趣的讀者可以關(guān)注一下了。