chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA Triton開源推理服務(wù)軟件三大功能推動效率提升

NVIDIA英偉達(dá)企業(yè)解決方案 ? 來源:NVIDIA英偉達(dá)企業(yè)解決方案 ? 作者:NVIDIA英偉達(dá)企業(yè)解 ? 2022-01-04 14:20 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Microsoft Teams借助AI生成的實時字幕和轉(zhuǎn)錄功能,幫助全球?qū)W生和職場人士順利進(jìn)行在線會議。用于訓(xùn)練的NVIDIA AI計算技術(shù)和用于推理語音識別模型的NVIDIA Triton推理服務(wù)器進(jìn)一步提升了這兩個功能。

Microsoft Teams 是全球溝通和協(xié)作的重要工具,每月有近2.5億活躍用戶。Microsoft Azure 認(rèn)知服務(wù)為Teams提供28種語言的字幕和轉(zhuǎn)錄,并將很快能夠在NVIDIA GPU上運行關(guān)鍵的計算密集型神經(jīng)網(wǎng)絡(luò)推理。

實時字幕功能幫助與會者實時跟蹤對話,轉(zhuǎn)錄功能方便與會者在日后回顧當(dāng)時的創(chuàng)意或回看未能參與的會議。

實時字幕對聾啞人、聽力障礙者,或者異國與會者特別有用。

NVIDIA Triton開源推理服務(wù)軟件能夠幫助Teams使用認(rèn)知服務(wù)優(yōu)化語音識別模型。

使用Triton,認(rèn)知服務(wù)能夠支持高度先進(jìn)的語言模型,以極低的延遲實時提供高度準(zhǔn)確、個性化的語音轉(zhuǎn)文本結(jié)果。同時,可以保證運行這些語音轉(zhuǎn)文本模型的NVIDIA GPU充分發(fā)揮其潛力,在消耗更少計算資源的同時,為客戶提供更高的吞吐量,進(jìn)而降低成本。

底層語音識別技術(shù)作為認(rèn)知服務(wù)中的一個API,開發(fā)人員可以使用它定制和運行自己的應(yīng)用程序——客服電話轉(zhuǎn)錄、智能家居控制或為急救人員提供AI助手。

字字達(dá)意的AI

認(rèn)知服務(wù)會生成Teams的轉(zhuǎn)錄和字幕,將語音轉(zhuǎn)換為文本,并識別說話人。同時也能夠識別專業(yè)術(shù)語 、姓名和其他會議背景,提高字幕的準(zhǔn)確性。

Microsoft Teams的通話、會議及設(shè)備首席項目經(jīng)理Shalendra Chhabra表示:“這樣的AI模型非常復(fù)雜,需要數(shù)千萬個神經(jīng)網(wǎng)絡(luò)參數(shù)才能識別幾十種不同的語言。但模型越大,就越難以經(jīng)濟高效地實時運行。”

NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下,通過強大的神經(jīng)網(wǎng)絡(luò),實現(xiàn)高準(zhǔn)確性,確保語音-文本的實時轉(zhuǎn)換。

當(dāng)啟用轉(zhuǎn)錄功能時,與會者可以在會議結(jié)束后輕松補上錯過的內(nèi)容。

Triton三大功能推動效率提升

NVIDIA Triton有助于簡化AI模型部署,并解鎖高性能推理。用戶甚至可以為自己的應(yīng)用開發(fā)自定義后端。軟件的一些關(guān)鍵功能可將Microsoft Teams的字幕和轉(zhuǎn)錄功能擴展到更多會議和用戶,包括:

流推理:新型流推理功能——通過跟蹤語音上下語境,提高延遲、敏感性字幕的準(zhǔn)確度,它助力NVIDIA和Azure認(rèn)知服務(wù)合作定制語音轉(zhuǎn)文本的應(yīng)用程序。

動態(tài)合批:批大小指神經(jīng)網(wǎng)絡(luò)同時處理的輸入樣本數(shù)量。通過Triton的動態(tài)合批,單項推理請求被自動組合成一個批次,因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

并發(fā)模型執(zhí)行:實時字幕和轉(zhuǎn)錄需要同時運行多個深度學(xué)習(xí)模型。Triton使開發(fā)人員能夠在單個GPU上同時完成這些工作,包括使用不同深度學(xué)習(xí)框架的模型。

即刻啟程,借助Azure 認(rèn)知服務(wù),在您的應(yīng)用中使用語音轉(zhuǎn)文本的功能,并進(jìn)一步了解NVIDIA Triton 推理服務(wù)軟件如何幫助團隊大規(guī)模部署AI模型。

NVIDIA 將參加 CES 2022, 并將在 1 月 5 日凌晨 0 點(北京時間)發(fā)表 NVIDIA 特別演講。

NVIDIA GeForce 高級副總裁 Jeff Fisher 和 NVIDIA 汽車部門副總裁兼總經(jīng)理 Ali Kani 將展示加速計算在設(shè)計、仿真、游戲和自動駕駛汽車方面的新突破。掃描下方海報,即刻將該日程添加到日歷!

原文標(biāo)題:Microsoft Azure 認(rèn)知服務(wù)和NVIDIA AI提升Microsoft Teams實時字幕和轉(zhuǎn)錄功能

文章出處:【微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5496

    瀏覽量

    109119
  • 功能
    +關(guān)注

    關(guān)注

    3

    文章

    590

    瀏覽量

    30141
  • 開源
    +關(guān)注

    關(guān)注

    3

    文章

    4045

    瀏覽量

    45583

原文標(biāo)題:Microsoft Azure 認(rèn)知服務(wù)和NVIDIA AI提升Microsoft Teams實時字幕和轉(zhuǎn)錄功能

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    如何在NVIDIA Jetson AGX Thor上通過Docker高效部署vLLM推理服務(wù)

    繼系統(tǒng)安裝與環(huán)境配置后,本期我們將繼續(xù)帶大家深入 NVIDIA Jetson AGX Thor 的開發(fā)教程之旅,了解如何在 Jetson AGX Thor 上,通過 Docker 高效部署 vLLM 推理服務(wù)。
    的頭像 發(fā)表于 11-13 14:08 ?3182次閱讀
    如何在<b class='flag-5'>NVIDIA</b> Jetson AGX Thor上通過Docker高效部署vLLM<b class='flag-5'>推理</b><b class='flag-5'>服務(wù)</b>

    NVIDIA宣布開源Aerial軟件

    NVIDIA 開源其 Aerial 軟件,并將 NVIDIA Sionna 研究套件和 Aerial 測試平臺引入 NVIDIA DGX S
    的頭像 發(fā)表于 11-03 15:14 ?594次閱讀

    NVIDIA TensorRT LLM 1.0推理框架正式上線

    TensorRT LLM 作為 NVIDIA 為大規(guī)模 LLM 推理打造的推理框架,核心目標(biāo)是突破 NVIDIA 平臺上的推理性能瓶頸。為實
    的頭像 發(fā)表于 10-21 11:04 ?791次閱讀

    信而泰×DeepSeek:AI推理引擎驅(qū)動網(wǎng)絡(luò)智能診斷邁向 “自愈”時代

    ,以“全流量采集 + AI根因診斷 + 預(yù)測性運維”為核心支柱,推動企業(yè)網(wǎng)絡(luò)運維模式從傳統(tǒng)的“被動響應(yīng)”向“主動防御”和“故障自愈”的智能化方向躍遷。 大核心能力:AI推理引擎重塑網(wǎng)絡(luò)運維邏輯1.全
    發(fā)表于 07-16 15:29

    全球各大品牌利用NVIDIA AI技術(shù)提升運營效率

    歐萊雅、LVMH 集團和雀巢利用 NVIDIA 加速的智能體 AI 和物理 AI,大幅提升產(chǎn)品設(shè)計、營銷及物流等方面的運營效率。
    的頭像 發(fā)表于 06-19 14:36 ?974次閱讀

    使用NVIDIA Triton和TensorRT-LLM部署TTS應(yīng)用的最佳實踐

    針對基于 Diffusion 和 LLM 類別的 TTS 模型,NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張
    的頭像 發(fā)表于 06-12 15:37 ?1320次閱讀
    使用<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Triton</b>和TensorRT-LLM部署TTS應(yīng)用的最佳實踐

    英偉達(dá)GTC2025亮點:Oracle與NVIDIA合作助力企業(yè)加速代理式AI推理

    Oracle 數(shù)據(jù)庫與 NVIDIA AI 相集成,使企業(yè)能夠更輕松、快捷地采用代理式 AI Oracle 和 NVIDIA 宣布,NVIDIA 加速計算和推理
    的頭像 發(fā)表于 03-21 12:01 ?1199次閱讀
    英偉達(dá)GTC2025亮點:Oracle與<b class='flag-5'>NVIDIA</b>合作助力企業(yè)加速代理式AI<b class='flag-5'>推理</b>

    英偉達(dá)GTC25亮點:NVIDIA Dynamo開源庫加速并擴展AI推理模型

    DeepSeek-R1 上的吞吐量提高了 30 倍 NVIDIA 發(fā)布了開源推理軟件 NVIDIA Dynamo,旨在以高
    的頭像 發(fā)表于 03-20 15:03 ?1084次閱讀

    Oracle 與 NVIDIA 合作助力企業(yè)加速代理式 AI 推理

    ——Oracle 和 NVIDIA 今日宣布,NVIDIA 加速計算和推理軟件與 Oracle 的 AI 基礎(chǔ)設(shè)施以及生成式 AI 服務(wù)
    發(fā)表于 03-19 15:24 ?472次閱讀
    Oracle 與 <b class='flag-5'>NVIDIA</b> 合作助力企業(yè)加速代理式 AI <b class='flag-5'>推理</b>

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能,為零售、電信等行業(yè)節(jié)省了數(shù)百萬美元。
    的頭像 發(fā)表于 02-08 09:59 ?1346次閱讀
    使用<b class='flag-5'>NVIDIA</b><b class='flag-5'>推理</b>平臺提高AI<b class='flag-5'>推理</b>性能

    NVIDIA 發(fā)布保障代理式 AI 應(yīng)用安全的 NIM 微服務(wù)

    NVIDIA NeMo Guardrails 軟件工具系列的一部分。這些可移植且經(jīng)過優(yōu)化的推理服務(wù)可幫助企業(yè)提高生成式 AI 應(yīng)用的安全性、精準(zhǔn)性
    發(fā)表于 01-17 16:29 ?282次閱讀

    借助NVIDIA GPU提升魯班系統(tǒng)CAE軟件計算效率

    本案例中魯班系統(tǒng)高性能 CAE 軟件利用 NVIDIA 高性能 GPU,實現(xiàn)復(fù)雜產(chǎn)品的快速仿真,加速產(chǎn)品開發(fā)和設(shè)計迭代,縮短開發(fā)周期,提升產(chǎn)品競爭力。
    的頭像 發(fā)表于 12-27 16:24 ?1171次閱讀

    Triton編譯器如何提升編程效率

    在現(xiàn)代軟件開發(fā)中,編譯器扮演著至關(guān)重要的角色。它們不僅將高級語言代碼轉(zhuǎn)換為機器可執(zhí)行的代碼,還通過各種優(yōu)化技術(shù)提升程序的性能。Triton 編譯器作為一種先進(jìn)的編譯器,通過多種方式提升
    的頭像 發(fā)表于 12-25 09:12 ?1216次閱讀

    Triton編譯器在機器學(xué)習(xí)中的應(yīng)用

    1. Triton編譯器概述 Triton編譯器是NVIDIA Triton推理服務(wù)平臺的一部分
    的頭像 發(fā)表于 12-24 18:13 ?1644次閱讀

    Triton編譯器功能介紹 Triton編譯器使用教程

    Triton 是一個開源的編譯器前端,它支持多種編程語言,包括 C、C++、Fortran 和 Ada。Triton 旨在提供一個可擴展和可定制的編譯器框架,允許開發(fā)者添加新的編程語言特性和優(yōu)化技術(shù)
    的頭像 發(fā)表于 12-24 17:23 ?2735次閱讀