概述

XXX項(xiàng)目原CI系統(tǒng)由項(xiàng)目自行搭建，使用Jenkins傳統(tǒng)的Job方式來(lái)實(shí)現(xiàn)VerifyCI和MergeCI以及DailyBuild。隨著項(xiàng)目規(guī)模越來(lái)越大，分支越來(lái)越多，合代碼的頻率也逐漸增大的情況下，現(xiàn)有系統(tǒng)呈現(xiàn)出諸多不便之處。為解決這些問(wèn)題，項(xiàng)目嘗試引入一系列現(xiàn)成公司級(jí)Devops研發(fā)工具并結(jié)合Jenkins2.0的Pipeline新特性來(lái)改造本項(xiàng)目Pipeline流程。

Pipeline as Code 是 Jenkins 2.0 版本的精華所在，是幫助 Jenkins 實(shí)現(xiàn)從 CI 到 CD 華麗轉(zhuǎn)身的關(guān)鍵工具。所謂 Pipeline，簡(jiǎn)單來(lái)說(shuō)，就是一套運(yùn)行于 Jenkins 上的工作流框架，將原本獨(dú)立運(yùn)行于單個(gè)或者多個(gè)節(jié)點(diǎn)的任務(wù)連接起來(lái)，實(shí)現(xiàn)單個(gè)任務(wù)難以完成的復(fù)雜發(fā)布流程。落實(shí)到代碼級(jí)別，即我們只需要把精力集中在編寫 Jenkinsfile 文件上，然后將其隨同代碼庫(kù)一起托管，Jenkins可以根據(jù)Jenkinsfile來(lái)迅速拉起項(xiàng)目的CI流程，方便高效。

但是隨著多個(gè)項(xiàng)目的試行、落地，發(fā)現(xiàn)基于Jenkins2.0的Pipeline功能強(qiáng)大，但是具體應(yīng)用到各個(gè)項(xiàng)目還有如下幾個(gè)痛點(diǎn)：

各個(gè)項(xiàng)目都在編寫自己特色的Jenkinsfile，很多時(shí)候互相復(fù)制修改一下代碼實(shí)現(xiàn)，Jenkinsfile冗余度非常高；

按照J(rèn)enkins1.x時(shí)代的思路，訂制化自己的CI/CD流程、郵件通知、報(bào)告輸出，轉(zhuǎn)換過(guò)程緩慢而痛苦；

遇到技術(shù)問(wèn)題沒(méi)有能力解決、采用一些過(guò)時(shí)的方法和工具，而其他項(xiàng)目組已經(jīng)解決一些技術(shù)問(wèn)題或者采用了更加先進(jìn)的方法和工具，互相并不能及時(shí)分享；

為了解決這些問(wèn)題，經(jīng)過(guò)項(xiàng)目反復(fù)調(diào)研和摸底，最終采用了中開社上開源的Jenkins2.0的Pipeline共創(chuàng)庫(kù)iPipeline（又稱plll庫(kù)）來(lái)輔助本項(xiàng)目重構(gòu)CI流程。

iPipeline是簡(jiǎn)化CI Pipeline部署的工具集，是面向開發(fā)人員和CI配置管理員的函數(shù)庫(kù)，其封裝了Jenkins 2.0的常用函數(shù)，集成了Gerrit、制品庫(kù)、云CI、度量、告警采集、郵件通知，另外提供docker封裝的工具集（復(fù)雜度、Klocwork、度量分析、度量導(dǎo)入等）。利用其可以幫助我們節(jié)省很多精力，避免重復(fù)造輪子，因此非常滿足我們項(xiàng)目的需求。

問(wèn)題描述

iPipeline框架在本項(xiàng)目的實(shí)踐過(guò)程中確實(shí)提高了很多效率和幸福感，但結(jié)合本項(xiàng)目一些實(shí)際的使用情況，發(fā)現(xiàn)其仍然存在一些優(yōu)化和改進(jìn)的點(diǎn)。為此針對(duì)我們項(xiàng)目的需要，我們對(duì)iPipeline做了如下一些優(yōu)化并實(shí)踐。

問(wèn)題1

利用plll庫(kù)提供的pdocker接口，可以很方便地在指定的節(jié)點(diǎn)上運(yùn)行指定的Docker容器來(lái)完成相關(guān)CI任務(wù)。比如本項(xiàng)目圈復(fù)雜度檢查已經(jīng)Docker化，因此可以利用pdocker接口，通過(guò)配置上鏡像名、映射目錄以及需要運(yùn)行的指令與腳本來(lái)執(zhí)行代碼的圈復(fù)雜度檢查。

但是實(shí)際在對(duì)pdocker接口的使用過(guò)程中發(fā)現(xiàn)，plll庫(kù)每次都會(huì)去節(jié)點(diǎn)上pull鏡像，然后再運(yùn)行，這對(duì)于鏡像其實(shí)已經(jīng)存在于本地節(jié)點(diǎn)的情況其實(shí)并沒(méi)有必要，因此需要改造。

問(wèn)題2

目前plll庫(kù)提供的Update接口僅支持Gerrit代碼倉(cāng)庫(kù)的代碼檢出更新，但本項(xiàng)目運(yùn)行某些用例測(cè)試需要的報(bào)文存儲(chǔ)于SVN庫(kù)上，因此有必要擴(kuò)充plll庫(kù)原有接口，使其支持SVN庫(kù)的代碼更新

帶著這兩個(gè)問(wèn)題，我們對(duì)plll庫(kù)做出了對(duì)應(yīng)的一些優(yōu)化并且實(shí)踐之。

優(yōu)化實(shí)踐

優(yōu)化1：pdocker接口是否需要拉取鏡像由用戶自定義

改造pdocker接口，添加參數(shù)來(lái)控制是否需要pull鏡像，接口代碼片段如下：

/**

* 工具名稱：docker執(zhí)行

* 工具描述：

* image - 鏡像的全路徑

* needPull - 是否需要pull鏡像

* before_cmd - 以root執(zhí)行的命令行，在執(zhí)行user_cmd前執(zhí)行

* volumes - 路徑映射清單,"a:b,c:d"

* params - 執(zhí)行參數(shù)

* profile - 環(huán)境文件,可執(zhí)行

* user_cmd - 以當(dāng)前用戶執(zhí)行的命令行(需要鏡像支持adduser命令)

* after_cmd - 以root執(zhí)行的命令行，在執(zhí)行user_cmd后執(zhí)行

* local_dir - 存放臨時(shí)文件的目錄（要求有權(quán)限映射到容器內(nèi)）

* shared_dir - 存放代碼和產(chǎn)出文件的目錄（要求有權(quán)限映射到容器內(nèi)）

* sh_exec - shell進(jìn)程，默認(rèn)為sh

**/

def call(image, needPull, before_cmd, volumes='',params='', profile='', user_cmd='', after_cmd='',

local_dir=env.LOCAL, shared_dir=env.SHARED, sh_exec='sh'){

// ...此處代碼省略...

if( needPull =="no"){

echo "no need to pull image !!! The image exists in local!"

writeFile file:docker_entry_file, text:"""

set -e

docker run --rm ${params} ${volumes} ${image} ${sh_exec} -x -c ${docker_run_file}

"""

}elseif( needPull =="yes"){

writeFile file:docker_entry_file, text:"""

set -e

docker pull ${image}

docker run --rm ${params} ${volumes} ${image} ${sh_exec} -x -c ${docker_run_file}

"""

}

// ...此處代碼省略...

}

由代碼可以看出，通過(guò)添加needPull參數(shù)，即可由用戶自定義是否需要pull鏡像。

使用舉例：

例如本項(xiàng)目調(diào)用pdocker接口利用自制docker鏡像完成代碼圈復(fù)雜度檢查：

pnode("${env.NODE_NAME}"){

plll.Check("CCN_DOCKER","CCN_DOCKER",[

run_execute:{ pdocker (

/* image */"docker.zte.com.cn:5000/10010891/lizard:v1",

/* need pull */"no",

/* cmd */"cd /home/code/ && chmod -R 777 * && cd script/VerifyCI/CCNCheck/ && sh +x lizard.sh",

/* volumes */"-v ${env.SHARESPACE}/${env.XXXXX_DIR}:/home",

/* params */"--privileged",

)

},

param:[

report_file:[]

]

]);

}

由于docker.zte.com.cn:5000/10010891/lizard:v1已經(jīng)存在于我們的外掛節(jié)點(diǎn)上，因此此處needPull參數(shù)置為no即可控制pdocker內(nèi)部無(wú)需再去pull鏡像。

優(yōu)化2：擴(kuò)充框架Update接口，使其支持SVN代碼更新

優(yōu)化Plll庫(kù)代碼，加入U(xiǎn)pdateSVN接口來(lái)支持SVN庫(kù)的代碼檢出與更新

/**

* 功能名稱：Update

* 功能描述：通過(guò)SVN更新代碼

**/

defUpdateSVN(name, desc, args){

LogDebug("[DEBUG] Update: ${name}, ${desc}")

args.run_execute ={

dir("${args.scm.path}"){

svn_checkout( args.scm.keyid, args.scm.repo, args.scm.path )

}

}

/* 調(diào)用功能適配 */

FunctionAdapter("Update","update", name, desc, args){}

return

}

/**

* 工具名稱：svn_checkout

* 工具描述：svn更新代碼

* 參數(shù)描述：

* - keyid: SVN庫(kù)的Credentials ID

* - repo: SVN庫(kù)Repo路徑

* - path: 代碼下載路徑

**/

def svn_checkout(keyid, repo, path){

checkout([

$class:'SubversionSCM',

additionalCredentials:[],

excludedCommitMessages:'',

excludedRegions:'',

excludedRevprop:'',

excludedUsers:'',

filterChangelog:false,

ignoreDirPropChanges:false,

includedRegions:'',

locations:[

[credentialsId:"${keyid}", depthOption:'infinity', ignoreExternalsOption:true,local:".", remote:"${repo}"]

],

workspaceUpdater:[$class:'UpdateUpdater']

])

return

}

使用舉例：

用戶只需要配置上：

SVN庫(kù)的Credentials ID

SVN庫(kù)Repo路徑

代碼下載路徑

即可完成SVN代碼檢出和更新，示例如下：

// 先配置好SVN相關(guān)參數(shù)

env.SVN_KEY_ID ="89a6fe98-8f0c-4fe6-829e-6d1cbda188e1"

env.CASE_DIR ="/jenkins_ci/CASE_TEST/PATH"

env.CASE_SVN_URL ="svn://XXX.XX.XXX.XXX/XXXXXXX/case/XXXX"

// 調(diào)用UpdateSVN接口完成SVN庫(kù)代碼更新

plll.UpdateSVN('SVN_UP','更新SVN上報(bào)文',[

scm:[keyid:"${env.SVN_KEY_ID}", repo:"${env.CASE_SVN_URL}", path:"env.CASE_DIR"],

run_dir:"${->OUTPUT_PATH}"

])

推廣建議

本文章相關(guān)優(yōu)化改進(jìn)可推廣至需要利用docker鏡像完成相關(guān)CI任務(wù)和代碼管控涉及SVN庫(kù)的項(xiàng)目