Qwen2 是阿里通義推出的新一代多語言預訓練模型，經(jīng)過更深入的預訓練和指令調(diào)整，在多個基準評測結果中表現(xiàn)出色，尤其在代碼和數(shù)學方面有顯著提升，同時拓展了上下文長度支持，最高可達128K。目前 AIBOX-1684X 已適配 Qwen2 系列模型，并已集成在 FireflyChat 對話應用中，開機即可體驗。

模型基礎更新

預訓練和指令微調(diào)模型

Qwen2系列包含5個尺寸的預訓練和指令微調(diào)模型，所有尺寸模型都使用了 GQA（分組查詢注意力）機制，方便用戶體驗到推理加速和顯存占用降低的優(yōu)勢。

加強27種語言的訓練數(shù)據(jù)

Qwen團隊通過擴展多語言預訓練和指令微調(diào)數(shù)據(jù)的規(guī)模，針對除中英文以外的27種語言進行加強，提升模型的多語言能力。

模型多方面測評

基準測評結果

相比 Qwen1.5，得益于預訓練數(shù)據(jù)及訓練方法的優(yōu)化，Qwen2 在大模型實現(xiàn)大幅度的效果提升。在針對預訓練語言模型的評估中，Qwen2-72B 在包括自然語言理解、知識、代碼、數(shù)學及多語言等多項能力上均表現(xiàn)卓越。

小模型方面，相比近期推出的領先模型，Qwen2-7B-Instruct 依然能在多個評測上取得顯著的優(yōu)勢，尤其是代碼及中文理解。

代碼和數(shù)學能力顯著提升

代碼方面，沿用 Qwen1.5 的代碼能力，實現(xiàn) Qwen2 在多種編程語言上的效果提升；數(shù)學方面，投入了大規(guī)模且高質(zhì)量的訓練數(shù)據(jù)提升 Qwen2-72B-Instruct 的數(shù)學解題能力。

長文本處理

Qwen2 系列模型中較為關注的功能是它能夠理解和處理擴展的上下文序列，對于冗長文檔的應用程序，Qwen2 可以提供更準確、全面的響應，實現(xiàn)長文本自然語言高效處理。在Needle in a Haystack的測試集上顯示：Qwen2-7B-Instruct 幾乎完美地處理長達128k的上下文。

Qwen2-7B本地化部署