案例簡介

? 本案例中通過 NVIDIA TensorRT 以及 NVIDIA T4 GPU， 極視角科技研發(fā)的人工智能計算機視覺算法推理平臺“極星，進一步提升了計算機視覺算法的準確度和推理效率，滿足了對算法實時性要求較高的行業(yè)需求，讓算法模型推理效率提升了20-40倍。

? 本案例主要應用到 NVIDIA TensorRT 以及 NVIDIA T4 GPU。

應用背景

極視角科技（ EXTREME VISION）是專業(yè)的人工智能計算機視覺算法提供商，開創(chuàng)了全球首家視覺算法商城，已上架 1000 余種算法，覆蓋 100 多個行業(yè)領域的應用場景，匯聚超過 200，000 位開發(fā)者。

“極星”是基于極視角強大技術(shù)能力打造的AI應用開發(fā)及服務平臺，。平臺支持快速接入各類算法、數(shù)據(jù)及智能設備，實現(xiàn)AI自閉環(huán)能力，并通過應用服務和標準化接口，幫助終端客戶低成本實現(xiàn)AI與業(yè)務的結(jié)合，快速構(gòu)建智能應用。

客戶挑戰(zhàn)

在未來的人工智能計算機視覺算法領域，碎片化和長尾化需求將成為市場的主流與核心。在數(shù)字化轉(zhuǎn)型的過程中，某幾個特定算法將再無法滿足客戶的綜合性需求。反之，由多種不同算法組成的算法包將成為解決人工智能算法應用落地問題的發(fā)展方向。因此，對算法準確度和推理效率的高要求將成為AI算法發(fā)展的新挑戰(zhàn)，尤其是在那些對算法及時性和實時反饋性要求較高的行業(yè)中，這種挑戰(zhàn)將尤為明顯?！睒O星“平臺作為極視角科技計算機視覺算法的推理部署平臺，為了能夠快速接入各類算法、數(shù)據(jù)及智能設備，將客戶業(yè)務與AI高效結(jié)合，同樣面臨著在算法模型推理效率上的考驗與挑戰(zhàn)。

應用方案

基于上述挑戰(zhàn)，極視角科技選擇采用 NVIDIA TensorRT和NVIDIA T4 GPU來提供支持。使用后，TensorRT高效賦能了極星推理平臺，使算法整體推理效率得到了極大的提升，給極視角業(yè)務帶來了巨大的支持。主要體現(xiàn)在以下方面：

極視角科技采用了NVIDIA TensorRT和NVIDIA T4 GPU賦能”極星“平臺，算法模型推理速度和推理效率較原來提升了近30倍，從而能夠進一步提升了算法的及時性，滿足了客戶對于算法實時效用的高要求。

由于NVIDIA TensorRT和NVIDIA T4 GPU本身的技術(shù)優(yōu)勢，在應用過程中，不但可以與原生推理框架間實現(xiàn)兼容，而且可以與原始算法高效整合，因此，在整體的技術(shù)結(jié)合和應用的過程中，算法兼容、整合和應用效率較原來提升了10倍。

使用效果

通過 NVIDIA TensorRT和NVIDIA T4 GPU， 極視角科技研發(fā)的人工智能計算機視覺算法推理平臺，”極星“，進一步提升了計算機視覺算法的準確度和推理效率，滿足了對算法實時性要求較高的行業(yè)需求，讓算法模型推理效率提升了20-40倍，其在技術(shù)兼容和整合過程中，整體效率也提升了近10倍。

“在使用 NVIDIA TensorRT和NVIDIA T4 GPU對平臺賦能后，“極星”推理平臺的算法推理效率得到了進一步的提升，更好地支持速接入各類算法、數(shù)據(jù)及智能設備，實現(xiàn)AI自閉環(huán)能力，并通過應用服務和標準化接口，幫助終端客戶低成本實現(xiàn)AI與業(yè)務的結(jié)合，快速構(gòu)建智能應用。從業(yè)務拓展的角度上，憑借著高效的算法推理效率，使得算法的及時分析能力得到了提升，幫助”極星“平臺更加順利的進入了許多對算法實時性要求較高的行業(yè)，同時，也更有利于極視角對外提供算法+平臺+應用+服務的一站式AI解決方案，實現(xiàn)多行業(yè)數(shù)字化轉(zhuǎn)型的目標?！皹O視角科技研發(fā)高級副總裁，技術(shù)委員會負責人成望表示。

審核編輯：郭婷