Llama 2 是一個(gè)由 Meta 開發(fā)的大型語言模型，是 LLaMA 1 的繼任者。Llama 2 可通過 AWS、Hugging Face 獲取，并可以自由用于研究和商業(yè)用途。Llama 2 預(yù)訓(xùn)練模型在 2 萬億個(gè)標(biāo)記上進(jìn)行訓(xùn)練，相比 LLaMA 1 的上下文長度增加了一倍。它的微調(diào)模型則在超過 100 萬個(gè)人工標(biāo)注數(shù)據(jù)下完成。

這篇博客包含了所有的相關(guān)資源，以幫助您快速入門。

來自 Meta 官方的公告可以在這里找到：https://ai.meta.com/llama/

LLaMA 2 是什么？

Meta 發(fā)布的 Llama 2，是新的 SOTA 開源大型語言模型（LLM）。Llama 2 代表著 LLaMA 的下一代版本，可商用。Llama 2 有 3 種不同的大小 —— 7B、13B 和 70B 個(gè)可訓(xùn)練參數(shù)。與原版 LLaMA 相比，新的改進(jìn)包括：

• 在 2 萬億個(gè)標(biāo)記的文本數(shù)據(jù)上進(jìn)行訓(xùn)練
• 允許商業(yè)使用
• 默認(rèn)使用 4096 個(gè)前后文本視野
• 70B 模型采用了分組查詢注意力（GQA）
• 可以在 Hugging Face Hub 上直接獲取https://hf.co/models?other=llama-2

即刻解鎖 Llama2

有幾個(gè)不同的游樂場供與 Llama 2 來測試：

HuggingChat

在我們推出的 HuggingChat 中使用 Llama 2 70B：https://hf.co/chat

Hugging Face Space 應(yīng)用

我們在 Space 應(yīng)用上提供了三個(gè)大小的 Llama 2 模型的體驗(yàn)，分別是:

• 7Bhttps://hf.co/spaces/huggingface-projects/llama-2-7b-chat
• 13Bhttps://huggingface.co/spaces/huggingface-projects/llama-2-13b-chat
• 70Bhttps://huggingface.co/spaces/ysharma/Explore_llamav2_with_TGI

Perplexity

Perplexity 的對話 AI 演示提供 7B 和 13B 的 Llama 2 模型:https://llama.perplexity.ai/

Llama 2 背后的研究工作

Llama 2 是一個(gè)基礎(chǔ)大語言模型，它由網(wǎng)絡(luò)上公開可獲取到的數(shù)據(jù)訓(xùn)練完成。另外 Meta 同時(shí)發(fā)布了它的 Chat 版本。Chat 模型的第一個(gè)版本是 SFT（有監(jiān)督調(diào)優(yōu)）模型。在這之后，LLaMA-2-chat 逐步地經(jīng)過人類反饋強(qiáng)化學(xué)習(xí)（RLHF）來進(jìn)化。RLHF 的過程使用了拒絕采樣與近端策略優(yōu)化（PPO）的技術(shù)來進(jìn)一步調(diào)優(yōu)聊天機(jī)器人。Meta 目前僅公布了模型最新的 RLHF (v5) 版本。若你對此過程背后的過程感興趣則請查看：

• Llama 2: 開源并已微調(diào)的聊天模型https://arxiv.org/abs/2307.09288
• Llama 2: 一個(gè)超贊的開源大語言模型https://www.interconnects.ai/p/llama-2-from-meta
• Llama 2 的全面拆解https://www.youtube.com/watch?v=zJBpRn2zTco

Llama 2 的性能有多好，基準(zhǔn)測試？

Meta 表示:

Llama 2 在眾多外部基準(zhǔn)測試中都優(yōu)于其他開源的語言模型，包括推理、編程、熟練程度與知識測驗(yàn)。

關(guān)于其性能你可以在這里找到更多信息：

• Hugging Face 開源大語言模型排行榜https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Meta 官方公告https://ai.meta.com/llama/

如何為 LLaMA 2 Chat 寫提示詞 (prompts)

Llama 2 Chat 是一個(gè)開源對話模型。想要與 Llama 2 Chat 進(jìn)行高效地交互則需要你提供合適的提示詞，以得到合乎邏輯且有幫助的回復(fù)。Meta 并沒有選擇最簡單的提示詞結(jié)構(gòu)。

以下是單輪、多輪對話的提示詞模板。提示詞模板遵循模型訓(xùn)練過程，你可以在這里查看到詳細(xì)描述:

• Llama 2 論文https://hf.co/papers/2307.09288
• Llama 2 提示詞模板https://gpus.llm-utils.org/llama-2-prompt-template/

單輪對話

[INST]<>
{{system_prompt}}
<>

{{user_message}}[/INST]

[INST]<>
{{system_prompt}}
<>

{{user_msg_1}}[/INST]{{model_answer_1}}[INST]{{user_msg_2}}[/INST]{{model_answer_2}}[INST]{{user_msg_3}}[/INST]