專為Agentic RAG與語(yǔ)義搜索量身打造，以行業(yè)頂尖的準(zhǔn)確率實(shí)現(xiàn)跨模態(tài)檢索

北京2025年10月29日 /美通社/ -- 亞馬遜云科技宣布，Amazon Nova Multimodal Embeddings多模態(tài)嵌入模型現(xiàn)已在Amazon Bedrock上線，這是一款專為Agentic RAG與語(yǔ)義搜索應(yīng)用打造的頂尖多模態(tài)嵌入模型。該模型是首個(gè)通過單一模型支持文本、文檔、圖像、視頻與音頻的統(tǒng)一嵌入模型，能以行業(yè)頂尖的準(zhǔn)確率實(shí)現(xiàn)跨模態(tài)檢索。

當(dāng)今，企業(yè)正不斷尋求解決方案，以期從文本、圖像、文檔、視頻、音頻等海量非結(jié)構(gòu)化數(shù)據(jù)中挖掘價(jià)值。例如，某企業(yè)可能擁有產(chǎn)品圖片、包含信息圖與文字的宣傳冊(cè)，以及用戶上傳的視頻片段。嵌入模型被廣泛應(yīng)用于這些場(chǎng)景，它可將文本、視覺、音頻輸入轉(zhuǎn)換為數(shù)值表示形式的嵌入向量，這些嵌入向量會(huì)捕捉輸入內(nèi)容的語(yǔ)義信息，供AI系統(tǒng)進(jìn)行比較、搜索與分析，為語(yǔ)義搜索、檢索增強(qiáng)生成（RAG）等場(chǎng)景提供技術(shù)支撐。盡管嵌入模型能夠挖掘非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值，但傳統(tǒng)模型通常僅擅長(zhǎng)處理單一類型的內(nèi)容。這一局限迫使客戶要么構(gòu)建復(fù)雜的跨模態(tài)嵌入解決方案，要么僅局限于單一內(nèi)容類型的應(yīng)用場(chǎng)景。這一問題同樣存在于混合模態(tài)內(nèi)容類型，例如文本與圖像內(nèi)容交織的文檔，或融合視覺、音頻、文本元素的視頻，現(xiàn)有模型也難以有效捕捉這類內(nèi)容中的跨模態(tài)關(guān)聯(lián)。

Amazon Nova多模態(tài)嵌入模型正為解決上述挑戰(zhàn)而生！它為文本、文檔、圖像、視頻、音頻構(gòu)建了統(tǒng)一的語(yǔ)義空間，可支持多種場(chǎng)景，包括混合模態(tài)內(nèi)容的跨模態(tài)搜索、基于參考圖像的搜索，以及視覺文檔檢索。

開發(fā)團(tuán)隊(duì)基于各類基準(zhǔn)測(cè)試對(duì)該模型性能進(jìn)行了評(píng)估，結(jié)果顯示，其開箱即用的準(zhǔn)確率處于領(lǐng)先水平。Amazon Nova多模態(tài)嵌入模型支持的上下文長(zhǎng)度最高達(dá)8000 tokens，可處理的文本語(yǔ)言多達(dá)200種，并能通過同步與異步API接收輸入。此外，它支持分段處理功能（也稱為 "分塊"，Chunking），可將長(zhǎng)文本、視頻或音頻內(nèi)容拆分為易于處理的片段，并為每個(gè)片段生成嵌入向量。最后，該模型提供四種輸出嵌入維度，采用套娃表征學(xué)習(xí)（Matryoshka Representation Learning，MRL）訓(xùn)練，能在幾乎不影響準(zhǔn)確率的前提下，實(shí)現(xiàn)低延遲的端到端檢索。

Amazon Nova多模態(tài)嵌入模型提供四種輸出維度選項(xiàng)：3072、1024、384和256。輸出維度越大，生成的表征信息則越詳細(xì)，但也需要占用更多的存儲(chǔ)空間和計(jì)算資源。相反，輸出維度越小，則能在檢索性能與資源效率之間實(shí)現(xiàn)更實(shí)用的平衡。這種靈活性可幫助用戶根據(jù)具體應(yīng)用場(chǎng)景和成本需求進(jìn)行優(yōu)化。

該模型能處理較長(zhǎng)的上下文內(nèi)容。對(duì)于文本輸入，它單次可處理多達(dá)8192個(gè)tokens；對(duì)于視頻和音頻輸入，支持處理長(zhǎng)達(dá)30秒的片段，且能對(duì)更長(zhǎng)的文件進(jìn)行分段處理。在處理大型媒體文件時(shí)，這種分段能力尤為實(shí)用——模型會(huì)將文件拆分為易于處理的片段，并為每個(gè)片段生成嵌入向量。

該模型包含集成了內(nèi)置于Amazon Bedrock的負(fù)責(zé)任的AI功能。提交用于生成嵌入向量的內(nèi)容會(huì)經(jīng)過Amazon Bedrock內(nèi)容安全過濾器的檢測(cè)，同時(shí)模型還內(nèi)置公平性措施以減少偏差。

該模型可通過同步和異步API調(diào)用。同步API適用于需要即時(shí)響應(yīng)的實(shí)時(shí)應(yīng)用場(chǎng)景，例如在搜索界面中處理用戶查詢；異步API則能更高效地處理對(duì)延遲不敏感的工作負(fù)載，因此更適合處理視頻等大型內(nèi)容。

Amazon Nova多模態(tài)嵌入模型現(xiàn)已在Amazon Bedrock上線，可用區(qū)域包括美國(guó)東部（弗吉尼亞北部）的亞馬遜云科技區(qū)域。

即刻體驗(yàn)Amazon Nova多模態(tài)嵌入模型，開啟多模態(tài)AI應(yīng)用構(gòu)建之旅！更多詳情可參閱Amazon Bedrock頁(yè)面及《Amazon Nova用戶指南》文檔。

審核編輯 黃宇