1.背景與目的
JoyAgent-JDGenie 是最近新開源的一款多Agent的產(chǎn)品,對(duì)于通用類問(wèn)題可以做到開箱即用。而對(duì)于用戶需要定制的場(chǎng)景功能,也支持配置子智能體或者類似MCP工具來(lái)輔助開發(fā)。此外JoyAgent-JDGenie相對(duì)比較輕量,無(wú)需依賴任何平臺(tái)。
這次想對(duì)JoyAgent-JDGenie 進(jìn)行綜合測(cè)試,使用通用類問(wèn)題從官網(wǎng)和本地部署的JoyAgent來(lái)進(jìn)行測(cè)試,看看整體效果如何。
測(cè)試地址:
https://autobots.jd.com/genie
開源代碼:
https://github.com/jd-opensource/joyagent-jdgenie
2.測(cè)評(píng)用例
1.從官網(wǎng)
https://autobots.jd.com/genie 進(jìn)行一個(gè)美食店推薦
2.本地部署服務(wù),做一個(gè)北京到阿爾山的旅行規(guī)劃,檢驗(yàn)開箱即用的能力
總關(guān)注點(diǎn):
1.整體規(guī)劃用時(shí)
2.交互的體驗(yàn)感
3.結(jié)果生成的效果
4.本地部署的復(fù)雜度
3 詳細(xì)測(cè)評(píng)
3.1 美食店推薦問(wèn)題:我想去北京什剎海玩,幫我推薦以什剎海為中心,三站地鐵范圍人均100元的燒烤店
問(wèn)題解析:這個(gè)問(wèn)題需要agent識(shí)別的關(guān)鍵要素:北京什剎海,地鐵線路有什么,三站地鐵的范圍,人均100元,燒烤店
實(shí)際結(jié)果:
a.一開始的思維鏈如下圖,joyagent可以快速且準(zhǔn)確解析任務(wù)
b.交互的界面
在右側(cè)有個(gè)工作空間,瀏覽器是展示查詢的瀏覽器內(nèi)容,實(shí)時(shí)跟隨是展示實(shí)時(shí)查詢的結(jié)果,并動(dòng)態(tài)生成markdown。
整體交互的界面干凈整潔,功能區(qū)劃分清晰,這個(gè)交互使用感很好
c.最后的結(jié)果
大約用時(shí)4分鐘,完成了我所有要求,包含查詢和生成文檔。 在工作空間的文件可以查看全部結(jié)果,對(duì)于結(jié)果的保存很人性化提供了三種方案,直接轉(zhuǎn)化Joyspace,下載md文件和復(fù)制功能,滿足我日常所需,這個(gè)細(xì)節(jié)我很滿意。
結(jié)果的生成確認(rèn)讓我眼前一亮,首先推薦的店鋪結(jié)果符合我的要求,三站地鐵,人均100,燒烤,其次整個(gè)生成的文檔不僅做了總覽還很貼心的對(duì)每個(gè)區(qū)域的店鋪?zhàn)隽嗽斀?,可以讓我更好的做選擇,體驗(yàn)感更加優(yōu)秀。
3.2 旅行規(guī)劃joyagent說(shuō)是開箱即用,所以我本地部署一版本,實(shí)測(cè)本地效果如何。
3.2.1 安裝依賴和環(huán)境
a.通過(guò)運(yùn)行sh check_dep_port.sh 命令,可以看到關(guān)鍵依賴是否有缺少,按照引導(dǎo)安裝即可
b.在application.yml和env_template 兩個(gè)文件 配置llm的信息,目前我默認(rèn)用openai的gpt-4.1模型
c.啟動(dòng)服務(wù),運(yùn)行 sh Genie_start.sh,就可以成功啟動(dòng)服務(wù)了
服務(wù)從安裝到啟動(dòng)整體來(lái)說(shuō)還很便捷,也沒(méi)有什么平臺(tái)依賴。
3.2.2 執(zhí)行旅行規(guī)劃任務(wù)問(wèn)題:我是兩個(gè)人,每人預(yù)算5000元,想在7.30號(hào)從北京出發(fā),去阿爾山及其周圍玩5天,幫我做個(gè)旅行規(guī)劃
問(wèn)題解析:旅行規(guī)劃 首先解析關(guān)鍵地址是北京和阿爾山,住宿地址在阿爾山,時(shí)間5天包含往返,當(dāng)?shù)鼐包c(diǎn)查詢,酒店查詢,路線安排。 擴(kuò)展功能 應(yīng)有這幾天天氣,周邊美食介紹,景點(diǎn)介紹。
思考過(guò)程展示:
過(guò)程日志:
實(shí)際結(jié)果:
整個(gè)規(guī)劃用時(shí)5分多鐘,從整個(gè)結(jié)果來(lái)看,基礎(chǔ)內(nèi)容都拆解正確,出發(fā)的路線沒(méi)問(wèn)題,每天的景點(diǎn)安排正確且合理。 對(duì)于擴(kuò)展內(nèi)容,提供了詳細(xì)景點(diǎn)介紹,美食介紹,功能也完備。
結(jié)論與建議本框架作為全開源輕量級(jí)解決方案,在測(cè)試中表現(xiàn)卓越:
交互體驗(yàn)高效流暢:規(guī)劃類測(cè)試任務(wù)響應(yīng)迅速,操作路徑簡(jiǎn)潔,工具請(qǐng)求頻次合理無(wú)冗余;結(jié)果保存智能便捷:支持靈活歸檔策略,滿足多樣化管理需求,大幅降低用戶操作負(fù)擔(dān);部署輕量化開箱即用:本地部署依賴極簡(jiǎn),無(wú)復(fù)雜配置,通用類問(wèn)題即裝即解決;生成內(nèi)容完備可靠:基礎(chǔ)與擴(kuò)展信息覆蓋全面,輸出質(zhì)量穩(wěn)定。雖存在細(xì)微優(yōu)化空間,但瑕不掩瑜,整體性能表現(xiàn)出色,交互層尤為亮眼,為二次開發(fā)測(cè)試奠定堅(jiān)實(shí)基礎(chǔ)。
審核編輯 黃宇
-
開源
+關(guān)注
關(guān)注
3文章
3874瀏覽量
45190 -
Agent
+關(guān)注
關(guān)注
0文章
154瀏覽量
28371
發(fā)布評(píng)論請(qǐng)先 登錄
綜合測(cè)評(píng)實(shí)施辦法與紀(jì)律規(guī)定(新版)
2013電設(shè)元件清單+賽題分析+綜合測(cè)評(píng)討論
2011年電賽國(guó)賽綜合測(cè)評(píng) 解題方案
2015年全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽綜合測(cè)評(píng)題
2015年全國(guó)電子設(shè)計(jì)競(jìng)賽的綜合測(cè)評(píng)那個(gè)250KHZ的正弦波怎么做呢?
【ELF靈翼自拍無(wú)人機(jī)測(cè)評(píng)】綜合測(cè)評(píng)
【液晶顯示屏試用體驗(yàn)】人生第一篇測(cè)評(píng)報(bào)告
2017全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽綜合測(cè)評(píng)
急求2017全國(guó)大學(xué)生電子設(shè)計(jì)大賽綜合測(cè)評(píng)題答案
ADuC7060測(cè)評(píng)報(bào)告
關(guān)于Embedded pi v1.0的測(cè)評(píng)報(bào)告
2015年全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽綜合測(cè)評(píng)題
再來(lái)一份關(guān)于米爾MYS-8MMX開發(fā)板試用體驗(yàn)測(cè)評(píng)報(bào)告——robe.zhang

評(píng)論