作者：盧暢，英特爾 OpenVINO工具套件領(lǐng)航者聯(lián)盟成員，PPDE

1. 前言

我是飛槳黑客馬拉松第五期OpenVINO賽題獲獎(jiǎng)?wù)摺獮?OpenVINO添加了對(duì) Paddle 2.5 的支持。在此記錄下來貢獻(xiàn)的過程，希望有更多的同學(xué)可以參與到 OpenVINO的社區(qū)建設(shè)當(dāng)中來。我在貢獻(xiàn)代碼的過程中，也遇到了一些問題，在此，非常感謝英特爾的技術(shù)老師們非常耐心地指導(dǎo)我，幫助我解決了問題！

那么，接下來就讓我們正式進(jìn)入正題！

2. 介紹

2.1OpenVINO 是什么？

OpenVINO是英特爾推出的一款深度學(xué)習(xí)推理框架，它可以將訓(xùn)練好的模型轉(zhuǎn)換為 OpenVINO支持的 IR 格式，從而可以在 OpenVINO的推理引擎上進(jìn)行推理。

OpenVINO支持多種深度學(xué)習(xí)框架，包括 Paddle、TensorFlow、PyTorch 等。

2.2任務(wù)說明

在這個(gè)任務(wù)完成之前，OpenVINO只支持 Paddle 2.4 的版本，由于 Paddle 2.5 的一些接口變動(dòng)，OpenVINO無法直接支持 Paddle 2.5。同時(shí)，由于 Paddle 2.4 版本并不支持 Python 3.11，因此 OpenVINO默認(rèn)關(guān)閉了對(duì) Paddle 的支持，需要手動(dòng)開啟，在手動(dòng)開啟后，又會(huì)遇到無法編譯出 Paddle 相關(guān)單側(cè)的問題。

本任務(wù)的目標(biāo)是為 OpenVINO添加對(duì) Paddle 2.5 的支持，并確保 OpenVINO可以正常編譯出 Paddle 相關(guān)單側(cè)且線上 CI 均可通過。

3. 開發(fā)過程

3.1問題分析

在任務(wù)開始之前，OpenVINO開啟對(duì) Paddle 的支持后主要會(huì)遇到兩個(gè)問題：

1API名稱變動(dòng)導(dǎo)致的編譯報(bào)錯(cuò)，如：

paddle.fluid.layers.elementwise_add -> paddle.add

2API名稱變動(dòng)導(dǎo)致的編譯報(bào)錯(cuò)，如：paddle.fluid.layers.elementwise_add -> paddle.add

針對(duì)上面這兩個(gè)問題，主要的解決方案如下：

1將老 API 與新 API 名稱映射

2修改名稱/屬性變動(dòng)的 API

3修復(fù)因 Op 行為變動(dòng)導(dǎo)致的單側(cè)報(bào)錯(cuò)

3.2將老 API 與新 API 名稱映射

由于 Paddle 2.5 版本在 API 層面發(fā)生了較大的變化，因此需要將老 API 與新 API 名稱進(jìn)行映射，這樣 OpenVINO中的代碼就可以使用新 API 名稱，從而解決 API 名稱變動(dòng)導(dǎo)致的編譯報(bào)錯(cuò)問題。該問題可參考 Paddle 官網(wǎng)的 API 映射表。

鏈接：

https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/model_convert/convert_from_older_versions/paddle_api_mapping_cn.html#paddle-1-8-paddle-2-0-api

為了兼容老版本的 API，OpenVINO中的代碼需要同時(shí)支持新 API 與老 API，因此需要在 generate_xxx.py中進(jìn)行相應(yīng)修改。

  with paddle.static.program_guard(paddle.static.Program(), paddle.static.Program()):
    node_x = paddle.static.data(name='x', shape=x.shape, dtype=x.dtype)
    node_i = paddle.full(shape=[1], fill_value=0, dtype='int64', name='i')
    if paddle.__version__ >= '2.0.0':
      node_i = paddle.add(node_i, node_x)
    else:
      paddle.fluid.layers.nn.elementwise_add(node_i, node_x)
    node_ten = paddle.full(shape=[1], fill_value=10, dtype='int64', name='ten')

左滑查看更多

代碼中的paddle.fluid.layers.nn.elementwise_add就是老版本的 API，而 paddle.add就是新版本的 API。

3.3修改名稱/屬性變動(dòng)的 API

對(duì)于部分 API 接口，老版本與新版本的名稱或?qū)傩园l(fā)生了變化，因此需要給 OpenVINO中的代碼進(jìn)行相應(yīng)的修改。比如 paddle.fluid.layers.relu6(x, threshold=6.0, name=None)和 paddle.nn.functional.relu6(x, name=None)的屬性發(fā)生了變化。

可以看到，paddle.fluid.dygraph.relu6中的 threshold屬性在新版本中被刪除了。

這種情況下需要確認(rèn) Python 源碼中是否修改底層 C++ 源碼，如果是修改了 C++ 源碼，那么需要在 OpenVINO的op源碼中進(jìn)行相應(yīng)的修改。如果沒有修改 C++ 源碼，那么只需要對(duì)應(yīng)修改 Python 源碼即可。

一般情況下，底層 C++ 源碼不會(huì)修改，Python 層一般是修改屬性的名稱，修改屬性的默認(rèn)值，刪除某個(gè)屬性等。

比如新版本 relu6在 Paddle 的 Python 端的實(shí)現(xiàn)如下：

def relu6(x, name=None):
  threshold = 6.0
  if in_dynamic_or_pir_mode():
    return _C_ops.relu6(x)


  check_variable_and_dtype(
    x, 'x', ['float16', 'uint16', 'float32', 'float64'], 'relu6'
  )
  helper = LayerHelper('relu6', **locals())
  out = helper.create_variable_for_type_inference(x.dtype)
  helper.append_op(
    type='relu6',
    inputs={'X': x},
    outputs={'Out': out},
    attrs={'threshold': threshold},
  )
  return out

左滑查看更多

通過實(shí)現(xiàn)代碼可以看到，新版本的 relu6在 Python 端并沒有修改 C++ 源碼，只是刪除了 threshold屬性，在調(diào)用 C++ 源碼時(shí)，將 threshold屬性設(shè)置為了默認(rèn)值 6.0。

因此，對(duì)于這種情況，只需要修改 OpenVINO中的 Python 單側(cè)代碼即可，不需要修改 C++ 源碼。OpenVINO在進(jìn)行模型轉(zhuǎn)化的時(shí)候是對(duì)底層op 進(jìn)行轉(zhuǎn)化，因此只要 Paddle 沒有修改底層 Op 的行為，那么 OpenVINO就不需要修改 Op 相關(guān)的代碼。

3.4修復(fù)因 Op 行為變動(dòng)導(dǎo)致的單側(cè)報(bào)錯(cuò)

在 Paddle 2.5 版本中，部分 Op 的行為發(fā)生了變化，導(dǎo)致 OpenVINO中的單側(cè)報(bào)錯(cuò)。比如 paddle.argmax新增了 0-d tensor的支持，但是 OpenVINO中的 Op 并沒有對(duì)應(yīng)的修改。想要修復(fù)這種問題，需要結(jié)合單側(cè)報(bào)錯(cuò)的具體情況進(jìn)行相應(yīng)的修改。

在介紹如何修復(fù)單側(cè)報(bào)錯(cuò)之前，先介紹一下 OpenVINO的算子支持機(jī)制。

3.4.1 OpenVINO算子支持機(jī)制

接下來我們先看一下 OpenVINO中的算子支持機(jī)制。

通過 Paddle 官方提供的 Topk_v2 樣例進(jìn)行說明：

// Copyright (C) 2018-2021 Intel Corporation
// SPDX-License-Identifier: Apache-2.0


#include "default_opset.hpp"
#include "openvino/frontend/paddle/node_context.hpp"


namespace ov {
namespace frontend {
namespace paddle {
namespace op {
NamedOutputs top_k_v2(const NodeContext& node) {
  auto x = node.get_input("X");
  Output k_expected_node;
  if (node.has_input("K")) {
    auto k_variable = node.get_input("K");
    auto k_var_node = std::make_shared(k_variable, element::i32);
    k_expected_node = std::make_shared(k_var_node);
  } else {
    const auto k_expected = node.get_attribute("k", 1);
    k_expected_node = default_opset::i32, {}, {k_expected});
  }


  auto axis = node.get_attribute("axis", -1);
  bool sorted = node.get_attribute("sorted", true);
  bool largest = node.get_attribute("largest", true);


  std::string sort_type = sorted ? "value" : "none";
  std::string mode = largest ? "max" : "min";


  auto node_topk = std::make_shared(x, k_expected_node, axis, mode, sort_type);


  NamedOutputs named_outputs;
  named_outputs["Out"] = OutputVector{node_topk->output(0)};
  named_outputs["Indices"] = OutputVector{node_topk->output(1)};


  return named_outputs;
}
} // namespace op
} // namespace paddle
} // namespace frontend
} // namespace ov

左滑查看更多

在 OpenVINO中，一般來說每個(gè)算子都是一個(gè)單獨(dú)的文件，比如 Topk_v2 算子對(duì)應(yīng)的文件就是 topk_v2.cpp。在這個(gè)文件中，我們可以看到 top_k_v2函數(shù)，這個(gè)函數(shù)就是 OpenVINO中的 Topk_v2 算子的實(shí)現(xiàn)。

在這個(gè)函數(shù)中，我們可以看到 auto x = node.get_input("X");，這個(gè)函數(shù)就是獲取輸入的 Tensor，auto node_topk = std::make_shared(x, k_expected_node, axis, mode, sort_type);這個(gè)函數(shù)就是創(chuàng)建 Topk_v2 算子，named_outputs["Out"] = OutputVector{node_topk->output(0)};這個(gè)函數(shù)就是獲取輸出的 Tensor。

每個(gè)Op都可以映射為一個(gè)圖結(jié)構(gòu)，數(shù)據(jù)根據(jù)圖結(jié)構(gòu)在不同的計(jì)算節(jié)點(diǎn)之間流通和計(jì)算，而Node便定義了圖結(jié)構(gòu)中的數(shù)據(jù)節(jié)點(diǎn)，通過實(shí)現(xiàn)每一個(gè)Node，便可以通過組合實(shí)現(xiàn)更多的算子。

Op 轉(zhuǎn)換的代碼需要寫在 src/frontends/paddle/src/op/目錄下，并在 src/frontends/paddle/src/op_table.cpp中進(jìn)行注冊(cè)。

單測(cè)代碼需要寫在 src/core/tests/frontend/paddle/test_models/gen_scripts目錄中，并在 src/core/tests/frontend/paddle/op_fuzzy.cpp中進(jìn)行注冊(cè)。

3.4.2 修復(fù)因 Op 行為變動(dòng)導(dǎo)致的單側(cè)報(bào)錯(cuò)

下面以 paddle.argmax為例，介紹如何修復(fù)因 Op 行為變動(dòng)導(dǎo)致的單側(cè)報(bào)錯(cuò)。

修復(fù)此類問題一般只能見招拆招，需要結(jié)合單側(cè)報(bào)錯(cuò)的具體情況進(jìn)行相應(yīng)的修改。比如 paddle.argmax新增了 0-d tensor的支持，但是 OpenVINO中的 Op 并沒有對(duì)應(yīng)的修改。因此，我們需要在 OpenVINO中的 Op 中添加對(duì) 0-d tensor的支持。經(jīng)過對(duì)代碼的分析我們可以發(fā)現(xiàn)，OpenVINO中該 Op 是通過 std::make_shared(node_reshape, k, axis, "max", "index", index_element_type);實(shí)現(xiàn)的，但是 TopK并沒有對(duì) 0-d tensor進(jìn)行支持。我們可以判斷 output_size 是否為 0，如果為 0，那么就組合一個(gè) Slice節(jié)點(diǎn)返回即可。以下是修改后的代碼：

NamedOutputs argmax(const NodeContext& node) {
  auto data = node.get_input("X");
  bool flatten = node.get_attribute("flatten");
  const element::Type& index_element_type = element::i64;
  const Output k = ov::i64, {}, {1});


  if (!flatten) {
    auto axis = node.get_attribute("axis");
    const auto axis_to_remove = ov::u64, Shape{}, {axis});
    auto node_topk = std::make_shared(data, k, axis, "max", "index", index_element_type);
    const auto reshaped_indices = std::make_shared(node_topk->output(1), axis_to_remove);
    return node.default_single_output_mapping(
      {std::make_shared(reshaped_indices, element::i64)},
      {"Out"});
  } else {
    int64_t axis = 0;
    const Output reshape_flatten = ov::i64, {1}, {-1});
    auto node_reshape = std::make_shared(data, reshape_flatten, true);
    auto node_topk = std::make_shared(node_reshape, k, axis, "max", "index", index_element_type);
    const auto output_info = node.get_output_port_infos("Out");
    // 獲取輸出的維度
    size_t output_size = output_info[0].second.size();
    // 如果輸出的維度為0，那么就組合一個(gè)Slice節(jié)點(diǎn)返回
    if (output_size == 0) {
      auto out = std::make_shared(node_topk->output(1));
      return node.default_single_output_mapping({std::make_shared(out, element::i64)},
                           {"Out"});
    } else {
      return node.default_single_output_mapping(
        {std::make_shared(node_topk->output(1), element::i64)},
        {"Out"});
    }
  }
}

左滑查看更多

除了 argmax 之外，還有一些 Op 也需要進(jìn)行相應(yīng)的修改：

?p_norm

?reduce_ops

?matmul_v2

?elementwise_floordiv

具體的修改可以參考 PR

4. 總結(jié)

這次的黑客松活動(dòng)，讓我對(duì) OpenVINO有了更深入的了解。

OpenVINO的工程師們非常熱心，對(duì)于社區(qū)的問題都會(huì)非常耐心的解答。我也是第一次在 PR 頁面有 144 次的 Conversation。

整個(gè) PR 的周期大概是 3 個(gè)月，期間經(jīng)歷了很多次的修改，最終才能夠被合并。在這次的活動(dòng)中，我也學(xué)到了很多知識(shí)，比如 OpenVINO的算子支持機(jī)制，Op 的單側(cè)測(cè)試等。

希望有更多的同學(xué)可以參與到 OpenVINO的社區(qū)建設(shè)當(dāng)中來，為 OpenVINO的發(fā)展及開源社區(qū)的建設(shè)貢獻(xiàn)自己的力量！

審核編輯：湯梓紅