Adlik?是深度學習模型的端到端優(yōu)化框架。Adlik 的目標是在云和嵌入式環(huán)境中加速深度學習推理過程。

使用 Adlik 框架，不同的深度學習模型可以以非常靈活和簡單的方式以高性能部署到不同的平臺。

1. 在云環(huán)境中，編譯后的模型和 Adlik 推理引擎應構建為 docker 鏡像，并部署為容器。

2. 在邊緣環(huán)境中，應將 Adlik 推理引擎部署為容器。編譯后的模型應該轉移到邊緣環(huán)境，Adlik 推理引擎應該自動更新和加載模型。

3. 在設備環(huán)境中，Adlik Inference Engine 和編譯后的模型應編譯為二進制文件。想要在設備上運行模型推理的用戶應該將用戶定義的 AI 函數(shù)和 Adlik 二進制文件鏈接到執(zhí)行文件，并直接運行。

構建

本指南用于在?Ubuntu?系統(tǒng)上構建 Adlik?。

首先，安裝?Git?和?Bazel。

然后，克隆 Adlik 并將工作目錄更改為源目錄：

git clone https://github.com/ZTE/Adlik.git
cd Adlik

構建客戶端

1. 安裝以下軟件包：

   • python3-setuptools
   • python3-wheel

2. 構建客戶端：

   bazel build //adlik_serving/clients/python:build_pip_package -c opt

3. 構建 pip 包：

   mkdir /tmp/pip-packages && bazel-bin/adlik_serving/clients/python/build_pip_package /tmp/pip-packages

構建服務

首先，安裝以下軟件包：

• automake
• libtbb2
• libtool
• make
• python3-six

使用 OpenVINO 運行時構建服務

1. 從?OpenVINO?安裝intel-openvino-runtime-ubuntu-包?。

2. 假設 OpenVINO 的安裝路徑為/opt/intel/openvino_VERSION，運行如下命令：

   export INTEL_CVSDK_DIR=/opt/intel/openvino_VERSION
   export InferenceEngine_DIR=$INTEL_CVSDK_DIR/deployment_tools/inference_engine/share
   bazel build //adlik_serving \
       --config=openvino \
       -c opt
   

使用 TensorFlow CPU 運行時構建服務

1. 運行以下命令：

   bazel build //adlik_serving \ 
       --config=tensorflow-cpu \ 
       -c opt

使用 TensorFlow GPU 運行時構建服務

假設使用 CUDA 版本 11.0 構建。

1. 從這里和?這里安裝以下軟件包?：

   • cuda-cupti-dev-11-0
   • libcublas-dev-11-0
   • libcudnn8=*+cuda11.0
   • libcudnn8-dev=*+cuda11.0
   • libcufft-dev-11-0
   • libcurand-dev-11-0
   • libcusolver-dev-11-0
   • libcusparse-dev-11-0
   • libnvinfer7=7.2.*+cuda11.0
   • libnvinfer-dev=7.2.*+cuda11.0
   • libnvinfer-plugin7=7.2.*+cuda11.0
   • libnvinfer-plugin-dev=7.2.*+cuda11.0

2. 運行以下命令：

   env TF_CUDA_VERSION=11.0 TF_NEED_TENSORRT=1 \ 
       bazel build //adlik_serving \ 
           --config=tensorflow-gpu \ 
           -c opt \ 
           --incompatible_use_specific_tool_files=false

使用 TensorFlow Lite CPU 運行時構建服務

1. 運行以下命令：

   bazel build //adlik_serving \ 
       --config=tensorflow-lite-cpu \ 
       -c opt

使用 TensorRT 運行時構建服務

假設使用 CUDA 版本 11.0 構建。

1. 從這里和?這里安裝以下軟件包?：

   • cuda-cupti-dev-11-0
   • cuda-nvml-dev-11-0
   • cuda-nvrtc-11-0
   • libcublas-dev-11-0
   • libcudnn8=*+cuda11.0
   • libcudnn8-dev=*+cuda11.0
   • libcufft-dev-11-0
   • libcurand-dev-11-0
   • libcusolver-dev-11-0
   • libcusparse-dev-11-0
   • libnvinfer7=7.2.*+cuda11.0
   • libnvinfer-dev=7.2.*+cuda11.0
   • libnvonnxparsers7=7.2.*+cuda11.0
   • libnvonnxparsers-dev=7.2.*+cuda11.0

2. 運行以下命令：

   env TF_CUDA_VERSION=11.0 \ 
       bazel build //adlik_serving \ 
           --config=TensorRT \ 
           -c opt \ 
           --action_env=LIBRARY_PATH=/usr/local/cuda-11.0/lib64/stubs \ 
           --incompatible_use_specific_tool_files=false

使用 TF-TRT 運行時構建服務

假設使用 CUDA 版本 11.0 構建。

1. 從這里和?這里安裝以下軟件包?：

   • cuda-cupti-dev-11-0
   • libcublas-dev-11-0
   • libcudnn8=*+cuda11.0
   • libcudnn8-dev=*+cuda11.0
   • libcufft-dev-11-0
   • libcurand-dev-11-0
   • libcusolver-dev-11-0
   • libcusparse-dev-11-0
   • libnvinfer7=7.2.*+cuda11.0
   • libnvinfer-dev=7.2.*+cuda11.0
   • libnvinfer-plugin7=7.2.*+cuda11.0
   • libnvinfer-plugin-dev=7.2.*+cuda11.0

2. 運行以下命令：

   env TF_CUDA_VERSION=11.0 TF_NEED_TENSORRT=1 \ 
       bazel build //adlik_serving \ 
           --config=tensorflow-tensorrt \ 
           -c opt \ 
           --incompatible_use_specific_tool_files=false

使用 Tvm 運行時構建服務

1. 安裝以下軟件包：

   • build-essential
   • cmake
   • tvm

2. 運行以下命令：

   bazel build //adlik_serving \ 
      --config=tvm \ 
      -c opt