谷歌近日為其Android上的TensorFlow框架開(kāi)發(fā)了新的基于OpenCL的移動(dòng)GPU推理引擎，與現(xiàn)有的OpenGL后端相比，新的推理引擎速度是前者的2倍。

OpenGL是一種渲染圖形API，其應(yīng)用已近30年之久，目前常用的GPU推理引擎均是以O(shè)penGL開(kāi)發(fā)。雖然在?OpenGL?ES?3.1中新增了計(jì)算著色器Compute?Shader，但TensorFlow團(tuán)隊(duì)表示，向后兼容的設(shè)計(jì)限制了GPU的運(yùn)算能力。

而OpenCL從一開(kāi)始就是為使用各種計(jì)算加速而設(shè)計(jì)的，因此更為適合移動(dòng)GPU推理領(lǐng)域。這促使TensorFlow團(tuán)隊(duì)對(duì)基于OpenCL的移動(dòng)推理引擎進(jìn)行了考察，并最終決定采用該引擎。TFLite開(kāi)發(fā)團(tuán)隊(duì)提到，與OpenGL相比，最佳化OpenCL后端要簡(jiǎn)單許多，因?yàn)镺penCL提供良好的分析功能，利用概要分析API，開(kāi)發(fā)團(tuán)隊(duì)能夠精確地量測(cè)核心調(diào)度效能。

值得一提的是，這一推理引擎具有完整的效能分析功，也就是說(shuō)優(yōu)化器會(huì)選擇適合大小的神經(jīng)網(wǎng)絡(luò)工作組以提高GPU的效率。且原生支持FP16，即使在比較老舊的GPU硬件上，如2012年的Adreno?305也可完美發(fā)揮出GPU的效能。
責(zé)任編輯:pj