介紹一下這個(gè)項(xiàng)目的基本情況，這個(gè)項(xiàng)目是關(guān)于電力高架線巡檢的，主要任務(wù)就是負(fù)責(zé)巡檢和除冰，巡檢的主要內(nèi)容就是看看線路的情況，有沒有比較基本的故障，比如接地短路，斷線故障，或者是一些個(gè)雜物等等，有了雜物之后通過機(jī)械臂進(jìn)行清楚或一些其他處理，同時(shí)需要對線網(wǎng)的外觀進(jìn)行一些檢測，看看有沒有一些特別明顯的熔斷或者破損情況，由于這個(gè)機(jī)器人是在線上行進(jìn)的，所以對比傳統(tǒng)的線下人工巡檢，從細(xì)節(jié)上講，機(jī)器人的攝像頭應(yīng)該能更好的更清楚的發(fā)現(xiàn)一些問題，除了這兩種功能以外，我還打算用Vision Board嘗試一下用它檢測線路上的結(jié)冰圖像，主要用的就是tflite，和openmv的開發(fā)方式，基于RT-Thread為底層的micropython固件，由于項(xiàng)目本身的原因，對于Vision Board的使用主要集中在應(yīng)用開發(fā)方面，包括線路識(shí)別，線路細(xì)節(jié)識(shí)別，雜物識(shí)別，結(jié)冰情況識(shí)別以及一些通信外設(shè)的使用，還有就是關(guān)于板子上自帶的WiFi模塊的圖傳功能，這也是項(xiàng)目本身需要的。

線路識(shí)別的基礎(chǔ)就是看攝像頭能不能識(shí)別出來高架線，對于直接架在線路上的機(jī)器人來說，攝像頭所捕捉到的線路還是比較大的，所以Vision Board的板載攝像頭應(yīng)該是夠的，為了簡單起見，我先使用了openMV的程序，里面有比較方便的線路識(shí)別程序。

經(jīng)過幾次嘗試，我感覺這個(gè)程序還是比較符合我的預(yù)期。

線段的起始位置點(diǎn)坐標(biāo),在實(shí)際運(yùn)行的時(shí)候，其實(shí)并不需要這些坐標(biāo)，因此要把代碼中的打印刪除，只需要保留一個(gè)判斷存在不為空的語句就可以了。

這個(gè)功能最主要的目的是用來判斷線路的斷線或者短路情況，有時(shí)直接看照片會(huì)比較模糊，如果加上這樣的線標(biāo)在圖片上，有助于觀察線路的情況，比如出了斷線或者短路接地等縱向或者橫向故障，標(biāo)出來就更一目了然了。

經(jīng)過調(diào)試，發(fā)現(xiàn)識(shí)別線路在0.5mm左右感覺識(shí)別的效果最好

對于整體是有很多線段那種情況，我感覺實(shí)際應(yīng)用工程中，如果講攝像頭云臺(tái)調(diào)轉(zhuǎn)到比較近的地方，基本上不需要識(shí)別出那么多的線段，最多也就兩三條，如果是多分裂導(dǎo)線那么也就四五條的樣子，Vision Board 的openmv固件幾乎支持所有的基本識(shí)別函數(shù)，我用了另一個(gè)識(shí)別“線”的文件或者是函數(shù)，但是發(fā)現(xiàn)他是用來尋找直線的，而且必須最好是那種貫穿的直線，所以對于本項(xiàng)目那種需要識(shí)別出線段的情況其實(shí)不是很合適，一方面場景不對，另一方面用處不太合適，但是并不是是說這個(gè)板子識(shí)別的慢，我針對這個(gè)函數(shù)特意檢測了一個(gè)電腦屏幕那樣的，發(fā)現(xiàn)速度還是非?？捎^的，足以證明只要用好這個(gè)板子，可以勝任很多工作。

還有一個(gè)主要的功能是結(jié)冰識(shí)別和雜物識(shí)別，由于Vision Board 能使用Tflite這樣的工具，我嘗試能不能把他們放在一起進(jìn)行識(shí)別，感覺這樣是對芯片能力的一種考驗(yàn)吧。電力巡檢常見的兩種雜物，容易掛在線路上的，主要是塑料袋和鳥巢，因?yàn)閿?shù)據(jù)集比較特殊，沒有什么現(xiàn)成的數(shù)據(jù)集可以用，所以從百度上找了一些，看了幾千張圖片，發(fā)現(xiàn)符合我要求的并不多，感覺更對算法和芯片的能力提出了要求，因?yàn)橹拔矣胟210弄的數(shù)字識(shí)別，相當(dāng)不理想，這回看看瑞薩的怎么樣（他甚至沒有什么專門的神經(jīng)網(wǎng)絡(luò)硬件加速單元）

先放上點(diǎn)數(shù)據(jù)集的圖，轉(zhuǎn)換的時(shí)候有水印，但是最后發(fā)現(xiàn)一點(diǎn)也不影響。

用的是這個(gè)網(wǎng)站，感覺比k210的要好的多，不用排隊(duì)，功能也強(qiáng)很多。

直接搜完注冊就能用，沒有什么門檻，也不收費(fèi)，就是界面全是英文的，我當(dāng)時(shí)是看的嗶站上的這個(gè)up主的視頻，我覺得非常好。

直接跟著操作就可以了，簡直可以稱得上是保姆級(jí)教程，有一點(diǎn)要提的是，圖片的擴(kuò)展名需要是一樣的，我圖方便就用的那種在軟件商店里面下載的格式轉(zhuǎn)換器，雖然有一點(diǎn)水印，但是最后的結(jié)果感覺幾乎沒有什么影響。

以下是我訓(xùn)練的一些配置：

這個(gè)部分在原來的視頻當(dāng)中沒有出現(xiàn)，因?yàn)樗曨l里面選的是H7內(nèi)核的那個(gè)，現(xiàn)在更新上來了，網(wǎng)站里已經(jīng)有了配置，我是這么填的，感覺沒出現(xiàn)什么錯(cuò)誤，其他的都很正常。

之后是測試結(jié)果

可以看到它在檢測鳥巢的時(shí)候準(zhǔn)確率還是很好的，整體是在80-90%左右，刷新的很快，截圖的時(shí)候就恰好是這個(gè)準(zhǔn)確度，反正k210是達(dá)不到這個(gè)效果。

這是在識(shí)別結(jié)冰線路的時(shí)候的數(shù)據(jù)，準(zhǔn)確度還是可以的。

由于我想收集和訓(xùn)練的數(shù)據(jù)其實(shí)是那種掛在高架線上的垃圾袋，為啥電力巡檢有的時(shí)候要看這個(gè)，是因?yàn)橛械臅r(shí)候，塑料袋加上雨天，可能會(huì)導(dǎo)致絕緣子閃絡(luò)甚至擊穿，或者是那種非永久性的短路，比如一重合閘就又好了，但是這些雖然聽起來離譜，但是實(shí)際上確實(shí)要處理的，否則繼保一跳閘，還是得去清理。找遍了網(wǎng)上發(fā)現(xiàn)復(fù)合要求的感覺不多，陸續(xù)在幾個(gè)網(wǎng)站上看了幾千張，幾乎很少有那種“標(biāo)準(zhǔn)數(shù)據(jù)集”，只好用這些“飛舞的垃圾袋”代替，準(zhǔn)確率也是很高的。

在識(shí)別到結(jié)冰圖像的時(shí)候，我在Vision Board設(shè)置了一個(gè)引腳用來和電機(jī)控制板通信，之前想用串口來著，但是感覺一是不需要那么復(fù)雜的邏輯，還有就是要考慮到在高壓電場和電暈放電下的對通信線路的干擾肯定會(huì)不小，所以定義了一個(gè)引腳，檢測到結(jié)冰圖片的時(shí)候，低電平，未檢測到的時(shí)候就是默認(rèn)高電平，這樣抗干擾會(huì)好一些。

下面是識(shí)別的完整代碼

# Edge Impulse - OpenMV Image Classification Exampleimport sensor, image, time, os, tf, uos, gcfrom pyb import Pinsensor.reset() # Reset and initialize the sensor.sensor.set_pixformat(sensor.RGB565) # Set pixel format to RGB565 (or GRAYSCALE)sensor.set_framesize(sensor.QVGA) # Set frame size to QVGA (320x240)sensor.set_windowing((240, 240)) # Set 240x240 window.sensor.skip_frames(time=2000) # Let the camera adjust.#定義標(biāo)志位引腳p_out = Pin(("GPIO_25",508), Pin.OUT_PP)net = Nonelabels = Nonetry: # load the model, alloc the model file on the heap if we have at least 64K free after loading net = tf.load("trained.tflite", load_to_fb=uos.stat('trained.tflite')[6] > (gc.mem_free() - (64*1024)))except Exception as e: print(e) raise Exception('Failed to load "trained.tflite", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')')try: labels = [line.rstrip('\n') for line in open("labels.txt")]except Exception as e: raise Exception('Failed to load "labels.txt", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')')clock = time.clock()while(True): clock.tick() img = sensor.snapshot() # default settings just do one detection... change them to search the image... for obj in net.classify(img, min_scale=1.0, scale_mul=0.8, x_overlap=0.5, y_overlap=0.5): print("**********\nPredictions at [x=%d,y=%d,w=%d,h=%d]" % obj.rect()) img.draw_rectangle(obj.rect()) # This combines the labels and confidence values into a list of tuples predictions_list = list(zip(labels, obj.output())) for i in range(len(predictions_list)): print("%s = %f" % (predictions_list[i][0], predictions_list[i][1])) if predictions_list[2][1] >= 0.9: p_out.value(0) else: p_out.value(1)#print(clock.fps(), "fps")————————————————版權(quán)聲明：本文為RT-Thread論壇用戶「單片機(jī)單片魂」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。原文鏈接：https://club.rt-thread.org/ask/article/d32afe940776f36e.html

最后要提一點(diǎn)的是，這個(gè)Vision Board的micro python庫是基于RT-Thread的mpy固件，其中一些外設(shè)是做了適配的，這需要去看原來編譯固件的時(shí)候的c的代碼，其中一些細(xì)節(jié)，比如GPIO的名稱，里面會(huì)有。

最后完成的整體圖：