如何在邊緣端獲得GPT4-V的能力：算力魔方+MiniCPM-V 2.6
作者：算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力
前面我們分享了《在算力魔方上本地部署Phi-4模型》，實現(xiàn)了在邊緣端獲得Llama 3.3 70B模型差不多的能力。本文將分享，在邊緣端獲得類似GPT4-V的能力：MiniCPM-V 2.6 。
MiniCPM-V 2.6是MiniCPM-V系列最新、性能最佳的模型，基于SigLip-400M和Qwen2-7B構(gòu)建，共8B參數(shù)。在最新版本 OpenCompass 榜單上（綜合 8 個主流多模態(tài)評測基準(zhǔn)）平均得分 65.2，以8B量級的大小在單圖理解方面超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等主流商用閉源多模態(tài)大模型。
參考鏈接：OpenBMB/MiniCPM-o: MiniCPM-o 2.6: A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming on Your Phone
本文將分享MiniCPM-V 2.6 8B模型在算力魔方?4060版上的部署過程。
一，安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
二，運(yùn)行MiniCPM-V 2.6
使用下面的命令完成運(yùn)行MiniCPM-V 2.6：
ollamarunminicpm-v
三，體驗MiniCPM-V 2.6 多模態(tài)能力
輸入下面的提示詞和測試圖片，體驗MiniCPM-V 2.6的多模態(tài)能力：
“請描述并總結(jié)圖片中的內(nèi)容，并提煉出該產(chǎn)品的賣點?！?/p>
運(yùn)行視頻鏈接
審核編輯 黃宇
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
GPT
+關(guān)注
關(guān)注
0文章
368瀏覽量
16595 -
邊緣計算
+關(guān)注
關(guān)注
22文章
3421瀏覽量
52227
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
天波科普：算力超過30T的邊緣計算服務(wù)器可以做什么？
網(wǎng)關(guān)的能力邊界，也涉及到算力高低。那么，目前邊緣計算服務(wù)器的算力到多少算高呢？以廣東天波AI
什么是AI算力模組？
未來，騰視科技將繼續(xù)深耕AI算力模組領(lǐng)域，全力推動AI邊緣計算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷演進(jìn)和物聯(lián)網(wǎng)應(yīng)用的持續(xù)拓展，騰視科技的AI算力
什么是AI算力模組？
未來，騰視科技將繼續(xù)深耕AI算力模組領(lǐng)域，全力推動AI邊緣計算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷演進(jìn)和物聯(lián)網(wǎng)應(yīng)用的持續(xù)拓展，騰視科技的AI算力
借勢 RISC-V與 AI 浪潮，元石智算打造算力新范式
在AI技術(shù)飛速發(fā)展的當(dāng)下，算力需求呈指數(shù)級增長，成為推動行業(yè)前行的核心動力。與此同時，RISC-V架構(gòu)憑借其開源、靈活、可定制等特性，正逐漸嶄露頭角，為AI算
基于算力魔方與PP-OCRv5的OpenVINO智能文檔識別方案
作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 一，引言 隨著人工智能技術(shù)的快速發(fā)展，光學(xué)字符識別（OCR）技術(shù)已從傳統(tǒng)的模式識別方法演進(jìn)到基于深度學(xué)習(xí)的
邊緣計算時代，科通技術(shù)以端AI方案重構(gòu)算力分配格局
，通過優(yōu)化大模型與芯片的協(xié)同能力，為智能終端設(shè)備提供高性能、低成本且安全可靠的解決方案，進(jìn)一步推動AI芯片的廣泛應(yīng)用與需求增長，成為公司業(yè)績持續(xù)增長的核心驅(qū)動力。?? 近年來，AI大模型對算力的需求呈現(xiàn)指數(shù)級增長，如
基于算力魔方的智能文檔信息提取方案
的進(jìn)步，使得自動化和智能化的文檔信息提取成為現(xiàn)實。本方案結(jié)合了Intel OpenVINO平臺的性能優(yōu)化優(yōu)勢與百度飛槳（PaddlePaddle）提供的PP-OCRv4模型，旨在開發(fā)一款高性能、高精度的智能文檔處理系統(tǒng)。 算力
6TOPS算力NPU加持！RK3588如何重塑8K顯示的邊緣計算新邊界
在萬物互聯(lián)的時代背景下，邊緣計算與8K顯示的融合需求日益迫切。傳統(tǒng)的云端處理模式在面對8K超高清視頻數(shù)據(jù)時，常常出現(xiàn)延遲高、帶寬壓力大等問題，而邊緣計算設(shè)備由于算力有限，難以支撐8K視
發(fā)表于 04-18 15:32
大算力芯片的生態(tài)突圍與算力革命
電子發(fā)燒友網(wǎng)報道（文 / 李彎彎）大算力芯片，即具備強(qiáng)大計算能力的集成電路芯片，主要應(yīng)用于高性能計算（HPC）、人工智能（AI）、數(shù)據(jù)中心、自動駕駛等需要海量數(shù)據(jù)并行計算的場景。隨著 AI 與大數(shù)
算力魔方IO擴(kuò)展模塊介紹 網(wǎng)絡(luò)篇1
一，算力魔方簡介 算力魔方?AIPC是目前市面上唯一的模塊化迷你電腦，在巴掌大小的空間提供強(qiáng)大的
【一文看懂】什么是端側(cè)算力？
隨著物聯(lián)網(wǎng)（IoT）、人工智能和5G技術(shù)的快速發(fā)展，端側(cè)算力正逐漸成為智能設(shè)備性能提升和智能化應(yīng)用實現(xiàn)的關(guān)鍵技術(shù)。什么是端側(cè)算
趕緊在本地運(yùn)行與OpenAI-o1能力近似的DeepSeek-R1模型
?作者：算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力 前面我們分享了《在算
在算力魔方上本地部署Phi-4模型
?作者：算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力 前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B：開源AI模型的新里程碑》，
工商網(wǎng)監(jiān)
評論