?

在人工智能領(lǐng)域，生成式AI（Generative AI）正成為推動(dòng)創(chuàng)新的關(guān)鍵力量。OpenVINO? GenAI庫(kù)作為這一領(lǐng)域的佼佼者，為開發(fā)者提供了一套完整的工具，以優(yōu)化和部署生成式AI模型，確保在支持的平臺(tái)上獲得最佳性能。

一，OpenVINO? GenAI概覽

OpenVINO? GenAI基于OpenVINO?工具和運(yùn)行時(shí)，提供C++/Python API，支持多種生成式AI模型，包括文本生成、圖像生成、語音轉(zhuǎn)錄與翻譯以及圖像處理等。以下是OpenVINO? GenAI支持的主要用例：

文本生成模型：文本摘要、重寫、聊天機(jī)器人等。

圖像生成模型：基于Diffuser架構(gòu)。

Whisper-based語音轉(zhuǎn)錄與翻譯。

視覺語言模型（VLMs）：圖像處理，如LLaVa等。

二，文本生成模型

1，轉(zhuǎn)換和優(yōu)化LLMs

從Hugging Face或Model Scope轉(zhuǎn)換和優(yōu)化LLMs，使用optimum-intel包：

pip install optimum-intel[openvino]

2，運(yùn)行模型

在Python中運(yùn)行模型：

import openvino_genai as ov_genai

在C++中運(yùn)行模型：

#include "openvino/genai/llm_pipeline.hpp"

三，圖像生成模型

1，轉(zhuǎn)換和優(yōu)化模型

使用optimum-intel包從Hugging Face或Model Scope轉(zhuǎn)換和優(yōu)化模型：

pip install optimum-intel[openvino]

2，運(yùn)行模型

在Python中：

import openvino_genai as ov_genai

在C++中：

#include "openvino/genai/image_generation/text2image_pipeline.hpp"

四，語音處理模型

1，轉(zhuǎn)換和優(yōu)化Whisper模型

使用optimum-intel包：

pip install optimum-intel[openvino]

2，運(yùn)行模型

在Python中：

import openvino_genai as ov_genai

在C++中：

#include "openvino/genai/whisper_pipeline.hpp"

五，圖像分析模型

1，轉(zhuǎn)換和優(yōu)化VLMs

使用optimum-intel包：

pip install optimum-intel[openvino]

2，運(yùn)行模型

在Python中：

import openvino_genai as ov_genai

在C++中：

#include "openvino/genai/visual_language/pipeline.hpp"

六，總結(jié)

OpenVINO? GenAI為生成式AI的部署提供了強(qiáng)大的支持，無論是文本、圖像還是語音處理，都能輕松實(shí)現(xiàn)。通過本文的備忘錄，您可以快速掌握OpenVINO? GenAI的安裝、模型支持和運(yùn)行方法，加速您的AI項(xiàng)目開發(fā)。

如果你有更好的文章，歡迎投稿！

稿件接收郵箱：nami.liu@pasuntech.com

更多精彩內(nèi)容請(qǐng)關(guān)注“算力魔方?”！

審核編輯 黃宇