2023/10/26 19:30 – 21:00

1. 利用 NVIDIA TensorRT-LLM 加速大模型推理

• NVIDIA TensorRT-LLM 簡(jiǎn)介：產(chǎn)品定位，與原有產(chǎn)品的關(guān)系

• 現(xiàn)支持的模型

• 現(xiàn)支持的主要功能，如 KV-cache，各種量化方法等

• 性能

• 未來(lái)路線圖

2. 基于 NVIDIA Triton 推理服務(wù)器端到端部署 LLM serving

• NVIDIA TensorRT-LLM 的任務(wù)調(diào)度方案，in-flight batching 的基礎(chǔ)原理

• NVIDIA Triton 推理服務(wù)器的 TensorRT-LLM backend 介紹

• 基于 Triton 端到端部署 LLM 的完整解決方案（以 Llama 2 70B 為例）

• 相關(guān) benchmark 參考結(jié)果

3. 金融行業(yè) AI 應(yīng)用場(chǎng)景分享與 NVIDIA 加速計(jì)算解決方案介紹

• 金融行業(yè) AI 應(yīng)用場(chǎng)景及客戶案例

• NLP/LLM 在金融行業(yè)的潛在應(yīng)用場(chǎng)景

• NVIDIA 針對(duì)金融場(chǎng)景的加速計(jì)算解決方案

季光

NVIDIA GPU 加速計(jì)算專家團(tuán)隊(duì)經(jīng)理

盧翔龍

NVIDIA 資深解決方案架構(gòu)師

史永明

NVIDIA 工程與解決方案架構(gòu)經(jīng)理

微信識(shí)別上方二維碼，注冊(cè)參加本次活動(dòng)

快速上手 TensorRT-LLM 的資源如下:

• 訪問(wèn) GitHub 倉(cāng)庫(kù),獲取開(kāi)源代碼：https://github.com/NVIDIA/TensorRT-LLM

• 探索 TensorRT-LLM 的示例代碼：https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0/examples

  benchmark：https://nvidia.github.io/TensorRT-LLM/performance.html

  以及用戶手冊(cè)：https://nvidia.github.io/TensorRT-LLM/index.html