chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

低成本開源聊天機器人Vicuna:可達(dá)到ChatGPT/Bard 90%以上水平

OSC開源社區(qū) ? 來源:OSC開源社區(qū) ? 2023-04-06 11:09 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

大型語言模型 (LLM) 的快速發(fā)展徹底改變了聊天機器人系統(tǒng),從而實現(xiàn)了前所未有的智能水平,譬如 OpenAI 的 ChatGPT。但 ChatGPT 的訓(xùn)練和架構(gòu)細(xì)節(jié)仍不清楚,阻礙了該領(lǐng)域的研究和開源創(chuàng)新。受 Meta LLaMA 和 Stanford Alpaca 項目的啟發(fā),來自加州大學(xué)伯克利分校、CMU、斯坦福大學(xué)和加州大學(xué)圣地亞哥分校的成員,共同推出了一個 Vicuna-13B 開源聊天機器人,由增強的數(shù)據(jù)集和易于使用、可擴展的基礎(chǔ)設(shè)施支持。

根據(jù)介紹,通過根據(jù)從 ShareGPT.com (一個用戶可以分享他們的 ChatGPT 對話的網(wǎng)站) 收集的用戶共享對話微調(diào) LLaMA 基礎(chǔ)模型,Vicuna-13B 與 Stanford Alpaca 等其他開源模型相比展示了具有競爭力的性能。

以 GPT-4 為評判標(biāo)準(zhǔn)的初步評估顯示,Vicuna-13B 達(dá)到了 OpenAI ChatGPT 和 Google Bard 90% 以上的質(zhì)量,同時在 90% 以上的情況下超過了 LLaMA 和 Stanford Alpaca 等其他模型的表現(xiàn)。訓(xùn)練 Vicuna-13B 成本約為 300 美元。訓(xùn)練和服務(wù)代碼,以及在線演示都是公開的,可用于非商業(yè)用途。

f66c4af6-d40b-11ed-bfe3-dac502259ad0.png

為了確保數(shù)據(jù)質(zhì)量,Vicuna 團隊將 HTML 轉(zhuǎn)換回 markdown 并過濾掉一些不合適或低質(zhì)量的樣本。以及將冗長的對話分成更小的部分,以適應(yīng)模型的最大上下文長度。其訓(xùn)練方法建立在 Stanford Alpaca 的基礎(chǔ)上,并進行了以下改進:

內(nèi)存優(yōu)化:為了使 Vicuna 能夠理解長上下文,開發(fā)團隊將最大上下文長度從 Alpaca 中的 512 擴展到 2048,大大增加了 GPU 內(nèi)存需求。通過利用 utilizing gradient checkpointing 和 flash attention 來解決內(nèi)存壓力。

多輪對話:調(diào)整訓(xùn)練損失以考慮多輪對話,并僅根據(jù)聊天機器人的輸出計算微調(diào)損失。

通過 Spot 實例降低成本:40 倍大的數(shù)據(jù)集和 4 倍的訓(xùn)練序列長度對訓(xùn)練費用提出了相當(dāng)大的挑戰(zhàn)。Vicuna 團隊使用 SkyPilot managed spot 來降低成本,方法是利用更便宜的 spot 實例以及自動恢復(fù)搶占和自動區(qū)域切換。該解決方案將 7B 模型的訓(xùn)練成本從 500 美元削減至 140 美元左右,將 13B 模型的訓(xùn)練成本從 1000 美元左右削減至 300 美元。

Vicuna 團隊構(gòu)建了一個服務(wù)系統(tǒng),該系統(tǒng)能夠使用分布式 workers 為多個模型提供服務(wù);它支持來自本地集群和云的 GPU worker 的靈活插件。通過利用 SkyPilot 中的容錯控制器和 managed spot 功能,該服務(wù)系統(tǒng)可以很好地與來自多個云的更便宜的 spot 實例一起工作,以降低服務(wù)成本。它目前是一個輕量級的實現(xiàn),未來將努力將集成更多的最新研究成果。

具體來說,開發(fā)團隊首先從 ShareGPT.com 收集了大約 7 萬個對話,然后增強了 Alpaca 提供的訓(xùn)練腳本,以更好地處理多輪對話和長序列;訓(xùn)練在一天內(nèi)在 8 個 A100 GPU 上使用 PyTorch FSDP 完成。為了提供演示服務(wù),他們還實現(xiàn)了一個輕量級的分布式服務(wù)系統(tǒng)。通過創(chuàng)建一組 80 個不同的問題并利用 GPT-4 來判斷模型輸出,對模型質(zhì)量進行了初步評估。為了比較兩個不同的模型,團隊成員將每個模型的輸出組合成每個問題的單個提示。然后將提示發(fā)送到 GPT-4,GPT-4 評估哪個模型提供更好的響應(yīng)。

f6b1275c-d40b-11ed-bfe3-dac502259ad0.png

LLaMA、Alpaca、ChatGPT 和 Vicuna 的詳細(xì)對比如下:

f6e820cc-d40b-11ed-bfe3-dac502259ad0.png

Vicun 團隊展示了 Alpaca 和 Vicuna 對基準(zhǔn)問題的回答示例。在使用 70K 用戶共享的 ChatGPT 對話對 Vicuna 進行微調(diào)后,其發(fā)現(xiàn)與 Alpaca 相比,Vicuna 能夠生成更詳細(xì)、結(jié)構(gòu)更合理的答案,并且質(zhì)量與 ChatGPT 相當(dāng)。

例如,在要求 “撰寫一篇引人入勝的旅游博文,介紹最近的夏威夷之行,突出文化體驗和必去的景點” 時,GPT-4 的評價得分為:Alpaca-13b 7/10,Vicuna-13b 10/10。并闡述理由稱,Alpaca 提供了旅行博文的簡要概述,但沒有按照要求實際撰寫博文,導(dǎo)致得分較低。Vicuna-13b 則就最近的夏威夷之行撰寫了一篇詳細(xì)而有吸引力的旅游博文,強調(diào)了文化體驗和必看的景點,完全滿足了用戶的要求,因此獲得了較高的分?jǐn)?shù)。

與此同時,Vicun 的初步發(fā)現(xiàn)表明,在比較聊天機器人的答案時,GPT-4 可以產(chǎn)生高度一致的等級和詳細(xì)的評估。下圖中總結(jié)的基于 GPT-4 的初步評估顯示,Vicuna 達(dá)到了 Bard/ChatGPT 的 90% 能力。不過總的來說,為聊天機器人建立一個評估系統(tǒng)仍是一個需要進一步研究的開放式問題。

f70dc6ce-d40b-11ed-bfe3-dac502259ad0.png

Vicun 團隊提出了一個基于 GPT-4 的評估框架來自動評估聊天機器人的性能。設(shè)計了八個問題類別,以測試聊天機器人性能的各個方面。并基于每個類別選擇十個問題,分別由 LLaMA、Alpaca、ChatGPT、Bard 和 Vicuna 生成答案,然后要求 GPT-4 根據(jù)有用性、相關(guān)性、準(zhǔn)確性和細(xì)節(jié)來評估答案質(zhì)量。結(jié)果發(fā)現(xiàn) GPT-4 不僅可以產(chǎn)生相對一致的分?jǐn)?shù),而且可以詳細(xì)解釋為什么給出這樣的分?jǐn)?shù)(詳細(xì)示例鏈接)。但在判斷編碼 / 數(shù)學(xué)任務(wù)方面,GPT-4 則不太擅長。

f7292e00-d40b-11ed-bfe3-dac502259ad0.png

數(shù)據(jù)表明在超過 90% 的問題中,相較 LLaMA、Alpaca 等,GPT-4 更傾向 Vicuna 生成的答案,并且它實現(xiàn)了可與專有模型(ChatGPT、Bard)競爭的性能。在 45% 的問題中,GPT-4 將 Vicuna 的回答評為優(yōu)于或等于 ChatGPT 的回答。

f764593a-d40b-11ed-bfe3-dac502259ad0.png

總的來說,雖然最近行業(yè)發(fā)展如火如荼,但事實上聊天機器人仍然面臨局限性,例如難以解決基本的數(shù)學(xué)問題或編碼能力有限。且為聊天機器人開發(fā)一個全面、標(biāo)準(zhǔn)化的評估系統(tǒng),也是一個需要進一步研究的懸而未決的問題。

開發(fā)團隊承認(rèn),Vicuna 不擅長涉及推理或數(shù)學(xué)的任務(wù),并且在準(zhǔn)確識別自己或確保其輸出的事實準(zhǔn)確性方面可能存在局限性。此外,它還沒有得到充分優(yōu)化以保證安全性或減輕潛在的毒性或偏見。為了解決安全問題,他們使用 OpenAI moderation API 來過濾掉在線演示中不適當(dāng)?shù)挠脩糨斎搿?/p>

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 開源
    +關(guān)注

    關(guān)注

    3

    文章

    3676

    瀏覽量

    43807
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1224

    瀏覽量

    25435
  • 聊天機器人
    +關(guān)注

    關(guān)注

    0

    文章

    348

    瀏覽量

    12795
  • OpenAI
    +關(guān)注

    關(guān)注

    9

    文章

    1207

    瀏覽量

    8896

原文標(biāo)題:低成本開源聊天機器人Vicuna:可達(dá)到ChatGPT/Bard 90%以上水平

文章出處:【微信號:OSC開源社區(qū),微信公眾號:OSC開源社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    馬斯克DOGE團隊開發(fā)政府AI聊天機器人

    近日,據(jù)媒體引述消息人士透露,全球首富馬斯克旗下的政府效率部門(DOGE)正著手為美國聯(lián)邦總務(wù)署(GSA)打造一款定制的生成式人工智能(GenAI)聊天機器人——GSAi。
    的頭像 發(fā)表于 02-10 18:04 ?658次閱讀

    【「具身智能機器人系統(tǒng)」閱讀體驗】+數(shù)據(jù)在具身人工智能中的價值

    ,數(shù)據(jù)對于訓(xùn)練增強和優(yōu)化機器人能力的深度學(xué)習(xí)模型至關(guān)重要。 從財務(wù)上講,用戶數(shù)據(jù)對互聯(lián)網(wǎng)公司具有重要價值,估計每個用戶 600 美元,考慮到大規(guī)模商業(yè)化后每個機器人的估計成本為 35000 美元,可以
    發(fā)表于 12-24 00:33

    Cloudera推出RAG Studio,助力企業(yè)快速部署聊天機器人

    企業(yè)在利用實時企業(yè)數(shù)據(jù)部署RAG聊天機器人方面邁出了重要一步,且整個過程僅需幾分鐘。 RAG Studio是一款無代碼解決方案,它極大地簡化了非技術(shù)用戶使用AI應(yīng)用的難度。通過這一平臺,業(yè)務(wù)團隊
    的頭像 發(fā)表于 12-12 11:06 ?726次閱讀

    自然語言處理在聊天機器人中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,聊天機器人已經(jīng)成為我們?nèi)粘I钪胁豢苫蛉钡囊徊糠?。從客戶服?wù)到個人助理,聊天機器人的應(yīng)用范圍越來越廣泛。這些機器人能夠理解用戶的查詢,并提供及時、準(zhǔn)確的回答,這在很大程度
    的頭像 發(fā)表于 12-05 15:24 ?1185次閱讀

    馬斯克旗下xAI計劃推出Grok聊天機器人獨立應(yīng)用

    近日,據(jù)最新報道,埃隆·馬斯克旗下的xAI公司計劃最早于12月推出一款獨立的聊天機器人應(yīng)用程序,這款應(yīng)用將圍繞其旗下的Grok聊天機器人進行打造。此舉被視為xAI在聊天機器人市場的重要布局,旨在
    的頭像 發(fā)表于 11-29 13:38 ?533次閱讀

    NLP技術(shù)在聊天機器人中的作用

    聊天機器人,也稱為聊天AI,是一種通過文本或語音與人類進行交流的軟件。它們廣泛應(yīng)用于客戶服務(wù)、在線購物、個人助理等領(lǐng)域。NLP技術(shù)是實現(xiàn)聊天機器人智能對話能力的關(guān)鍵。 1. 理解用戶意圖 NLP技術(shù)
    的頭像 發(fā)表于 11-11 10:33 ?1011次閱讀

    ChatGPT 與傳統(tǒng)聊天機器人的比較

    隨著人工智能技術(shù)的飛速發(fā)展,聊天機器人已經(jīng)成為我們?nèi)粘I钪胁豢苫蛉钡囊徊糠?。從簡單的客服助手到?fù)雜的個人助理,這些虛擬助手正在逐漸改變我們與技術(shù)的互動方式。在眾多聊天機器人中,ChatGPT無疑是
    的頭像 發(fā)表于 10-25 16:16 ?1242次閱讀

    Meta人工智能聊天機器人進軍新市場,挑戰(zhàn)ChatGPT

    Meta近日宣布,其人工智能聊天機器人將進軍21個新市場,與OpenAI的ChatGPT展開激烈競爭。
    的頭像 發(fā)表于 10-11 16:29 ?641次閱讀

    Snapchat聊天機器人集成谷歌Gemini技術(shù)

    Snap與谷歌云的戰(zhàn)略合作再升級,為Snapchat平臺注入了新的智能活力。雙方宣布,Snapchat的My AI聊天機器人將深度集成谷歌Gemini技術(shù),這一創(chuàng)新舉措標(biāo)志著Snapchat在人工智能應(yīng)用領(lǐng)域的又一次飛躍。
    的頭像 發(fā)表于 09-25 14:51 ?594次閱讀

    Meta將推出音頻版聊天機器人

    Meta公司即將在年度Connect大會上揭曉一項創(chuàng)新舉措:推出音頻版聊天機器人。據(jù)可靠消息,Meta已與Judi Dench、Kristen Bell及John Cena等多位國際知名演員達(dá)成合作
    的頭像 發(fā)表于 09-24 15:18 ?695次閱讀

    開源項目!用ESP32做一個可愛的無用機器人

    、固件燒錄等。 注意事項 制作這個機器人的材料成本比較高,接近一臺全新筆記本電腦的價格。此外,如果沒有焊接經(jīng)驗,整體成本可能更高,因為還需要涉及到PCB組裝。 完成 完成后,機器人
    發(fā)表于 09-03 09:34

    聊天機器人初創(chuàng)公司Character.AI裁員至少5%

    聊天機器人初創(chuàng)企業(yè)Character.AI近期宣布了一項裁員決定,涉及員工比例至少達(dá)到5%,主要受影響的是營銷和招聘團隊。此次調(diào)整被視為公司在面對市場變化時做出的戰(zhàn)略優(yōu)化,旨在更加高效地配置資源,以支持其長期發(fā)展愿景。
    的頭像 發(fā)表于 08-30 15:37 ?568次閱讀

    開源項目!用ESP32做一個可愛的無用機器人

    、固件燒錄等。 注意事項 制作這個機器人的材料成本比較高,接近一臺全新筆記本電腦的價格。此外,如果沒有焊接經(jīng)驗,整體成本可能更高,因為還需要涉及到PCB組裝。 完成 完成后,機器人
    發(fā)表于 08-30 14:50

    馬斯克旗下AI初創(chuàng)公司發(fā)布Grok-2聊天機器人

    埃隆·馬斯克麾下的創(chuàng)新AI企業(yè)xAI今日震撼發(fā)布了其最新力作——Grok-2聊天機器人,該產(chǎn)品在性能上自信地宣稱已能與業(yè)界巨頭OpenAI、谷歌及Anthropic的頂尖產(chǎn)品并駕齊驅(qū)。
    的頭像 發(fā)表于 08-15 16:05 ?1153次閱讀

    Meta關(guān)閉明星AI聊天機器人,轉(zhuǎn)向用戶自創(chuàng)AI工具

    7月31日,科技新聞源The Information透露,Meta已悄然終止了其備受矚目的明星AI聊天機器人項目。這些機器人曾因能夠模擬著名人物的性格特征并與用戶進行互動,在去年九月的Meta Connect大會上大放異彩。
    的頭像 發(fā)表于 07-31 16:16 ?1051次閱讀