如何在邊緣端獲得GPT4-V的能力：算力魔方+MiniCPM-V 2.6
作者：算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力
前面我們分享了《在算力魔方上本地部署Phi-4模型》，實現(xiàn)了在邊緣端獲得Llama 3.3 70B模型差不多的能力。本文將分享，在邊緣端獲得類似GPT4-V的能力：MiniCPM-V 2.6 。
MiniCPM-V 2.6是MiniCPM-V系列最新、性能最佳的模型，基于SigLip-400M和Qwen2-7B構(gòu)建，共8B參數(shù)。在最新版本 OpenCompass 榜單上（綜合 8 個主流多模態(tài)評測基準(zhǔn)）平均得分 65.2，以8B量級的大小在單圖理解方面超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等主流商用閉源多模態(tài)大模型。
參考鏈接：OpenBMB/MiniCPM-o: MiniCPM-o 2.6: A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming on Your Phone
本文將分享MiniCPM-V 2.6 8B模型在算力魔方?4060版上的部署過程。
一，安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
二，運行MiniCPM-V 2.6
使用下面的命令完成運行MiniCPM-V 2.6：
ollamarunminicpm-v
三，體驗MiniCPM-V 2.6 多模態(tài)能力
輸入下面的提示詞和測試圖片，體驗MiniCPM-V 2.6的多模態(tài)能力：
“請描述并總結(jié)圖片中的內(nèi)容，并提煉出該產(chǎn)品的賣點。”
運行視頻鏈接
審核編輯 黃宇
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
GPT
+關(guān)注
關(guān)注
0文章
372瀏覽量
16968 -
邊緣計算
+關(guān)注
關(guān)注
22文章
3560瀏覽量
53694
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
可運行 30B 大模型！高性能 RISC-V 邊緣計算盒：AIBOX-K3
AIBOX-K3是基于進迭時空最新一代RISC-V處理器K3打造的高性能邊緣智算終端，采用CPU+AI核融合設(shè)計，兼具強悍通用運算能力與端側(cè)
面向邊緣AI視覺的高性能算力模組解決方案 ——杰和科技LM2-100-V0深度解析
一、核心硬件架構(gòu)與邊緣計算能力在萬物互聯(lián)的數(shù)字化浪潮下，邊緣側(cè)的AI推理能力正成為智能設(shè)備的核心競爭力。杰和科技推出的LM2-100-
想用RK3588在邊緣端跑大模型？你的算力還差多少？
在邊緣計算與嵌入式AI應(yīng)用飛速發(fā)展的今天，瑞芯微RK3588平臺憑借其強大的多媒體處理能力和6TOPS的NPU算力，已成為高端AIoT項目的首選之一。然而，面對日益復(fù)雜的大模型（LLM
5W功耗實現(xiàn)25TOPS算力，LM2-100-V0算力模組破解AI安防核心難題
。針對行業(yè)核心痛點，杰和科技推出LM2-100-V0AI算力模組，以高算力、小尺寸、低功耗、易集成的設(shè)計方式，為智能安防、工業(yè)檢測、零售分析
邊緣AI算力臨界點：深度解析176TOPS香橙派AI Station的產(chǎn)業(yè)價值
310P芯片的底層架構(gòu)，深度剖析這款產(chǎn)品的技術(shù)細節(jié)、算力門檻及其在實際產(chǎn)業(yè)落地中的真實價值。
一、176TOPS的產(chǎn)業(yè)門檻：為何這是邊緣算力
發(fā)表于 03-10 14:19
算力魔方2025全年技術(shù)精華文章回顧：智驅(qū)萬物，方寸之間
開發(fā)者們走過了不平凡的2026年。這一年，AI大模型參數(shù)量持續(xù)突破，邊緣計算能力大幅提升，開源工具生態(tài)日漸繁榮。 在算力魔方的方寸之間，我們
從云端集中到邊緣分布：邊緣智算如何重塑算力網(wǎng)絡(luò)布局
隨著大模型推理延遲進入毫秒級時代，整個科技行業(yè)都意識到：算力網(wǎng)絡(luò)的規(guī)則正在被改寫。這場變革的核心，正是從云端集中式計算向邊緣分布式智能的范式轉(zhuǎn)移。據(jù)行業(yè)多家分析機構(gòu)綜合預(yù)測，全球AI基礎(chǔ)設(shè)施正面
什么是AI邊緣算力模組？?
天數(shù)智算AI邊緣算力模組以其多元的產(chǎn)品矩陣、領(lǐng)先的技術(shù)實力和廣泛的行業(yè)應(yīng)用，正成為推動各行業(yè)智能化變革的重要力量。未來，天數(shù)智算將繼續(xù)深耕
解鎖邊緣智能新境界，天數(shù)智算AI邊緣算力模組賦能端側(cè)AI應(yīng)用新篇章?
在數(shù)字化與智能化飛速發(fā)展的時代，邊緣計算正逐漸成為推動行業(yè)變革的關(guān)鍵力量。天數(shù)智算緊跟技術(shù)浪潮，精心布局AI邊緣算力模組領(lǐng)域，以強大的產(chǎn)品矩
解鎖邊緣智能新境界，天數(shù)智算AI邊緣算力模組賦能端側(cè)AI應(yīng)用新篇章?
在數(shù)字化與智能化飛速發(fā)展的時代，邊緣計算正逐漸成為推動行業(yè)變革的關(guān)鍵力量。天數(shù)智算緊跟技術(shù)浪潮，精心布局AI邊緣算力模組領(lǐng)域，以強大的產(chǎn)品矩
天波科普：算力超過30T的邊緣計算服務(wù)器可以做什么？
網(wǎng)關(guān)的能力邊界，也涉及到算力高低。那么，目前邊緣計算服務(wù)器的算力到多少算高呢？以廣東天波AI
基于算力魔方與PP-OCRv5的OpenVINO智能文檔識別方案
作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 一，引言 隨著人工智能技術(shù)的快速發(fā)展，光學(xué)字符識別（OCR）技術(shù)已從傳統(tǒng)的模式識別方法演進到基于深度學(xué)習(xí)的
邊緣計算時代，科通技術(shù)以端AI方案重構(gòu)算力分配格局
，通過優(yōu)化大模型與芯片的協(xié)同能力，為智能終端設(shè)備提供高性能、低成本且安全可靠的解決方案，進一步推動AI芯片的廣泛應(yīng)用與需求增長，成為公司業(yè)績持續(xù)增長的核心驅(qū)動力。?? 近年來，AI大模型對算力的需求呈現(xiàn)指數(shù)級增長，如
基于算力魔方的智能文檔信息提取方案
的進步，使得自動化和智能化的文檔信息提取成為現(xiàn)實。本方案結(jié)合了Intel OpenVINO平臺的性能優(yōu)化優(yōu)勢與百度飛槳（PaddlePaddle）提供的PP-OCRv4模型，旨在開發(fā)一款高性能、高精度的智能文檔處理系統(tǒng)。 算力
評論