描述

介紹

我最近在 startuphuscle.xyz 上聽(tīng)到了Mycroft.ai的首席執(zhí)行官 Joshua Montgomery討論他的公司為將開(kāi)源替代語(yǔ)音助手推向市場(chǎng)所做的努力。無(wú)論您擁有一張圖像還是數(shù)十億張圖像，距離使用人工智能識(shí)別您的視覺(jué)內(nèi)容僅幾步之遙。

預(yù)測(cè)類型取決于您運(yùn)行輸入的模型。AI 已卸載到云中的 clarifai 服務(wù)器。基本上，您向 clarifai 發(fā)送一張圖片，然后 clarifai 將在該圖片中找到的一組標(biāo)簽/單詞/概念發(fā)回給您。

?

Clarifai 提供的 api 是幾種不同的語(yǔ)言，其中一種是 python。這使其非常適合與 Mycroft 技能一起使用，因?yàn)樗鼈円彩怯?python 編寫(xiě)的。有一個(gè)非?？犊拈_(kāi)發(fā)人員選項(xiàng)，無(wú)需任何費(fèi)用即可使用，讓您可以訪問(wèn) clarifai 的標(biāo)準(zhǔn)模型以及創(chuàng)建和訓(xùn)練自己的模型的能力。

如果你想開(kāi)始破解計(jì)算機(jī)視覺(jué)/機(jī)器學(xué)習(xí)項(xiàng)目，你真的應(yīng)該考慮 clarifai。

使用 Mycroft Mark I

Mycroft Mark I 是一個(gè)“嵌入式”Linux 應(yīng)用程序，在無(wú)頭模式下運(yùn)行在 Raspberry Pi 上。無(wú)頭意味著您必須將顯示器和鍵盤(pán)連接到 Mark I，或者最好使用ssh從計(jì)算機(jī)登錄您的 Mark I。在 Mycroft 社區(qū)論壇中提供了有關(guān)執(zhí)行此操作的全面信息，更一般地，在Derek Molloy 的 Exploring Raspberry Pi: Interface to the Real World with Embedded Linux 1st Edition 中。對(duì)于任何有興趣超越使用 pi 的基礎(chǔ)知識(shí)的制造商來(lái)說(shuō)，這都是一本令人難以置信的書(shū)。

我不會(huì)在這里詳細(xì)介紹，但這里有一些ssh提示：

• 在您的桌面/筆記本電腦上打開(kāi)許多終端窗口

• 您可以將桌面上的文本剪切并粘貼到 nano 編輯器中

• 在您的 Mycroft 上下載并安裝feh以查看圖像

您可以在 feh 了解有關(guān) feh 的更多信息- 一個(gè)快速輕便的圖像查看器。為了使用 feh 通過(guò) ssh 查看圖像，請(qǐng)使用 -X 開(kāi)關(guān)來(lái)打開(kāi) x windows 終端：

ssh -X 

如果 x 終端窗口“超時(shí)”并且一段時(shí)間后不允許您查看，只需將其殺死并如上所述創(chuàng)建另一個(gè) x 終端窗口。

將 PiCamera 添加到 Mycroft Mark I

Raspberry Pi 3 位于 Mycroft Mark 1 的核心，但 PiCamera 連接器沒(méi)有暴露，因此您必須做一些手術(shù)來(lái)連接 PiCamera。我從 adafruit 購(gòu)買了 2 米長(zhǎng)的 PiCamera 帶狀電纜來(lái)連接相機(jī)。就長(zhǎng)度而言，這可能有點(diǎn)矯枉過(guò)正，但太短會(huì)更糟。

下面的一組圖片將對(duì)您有所幫助，但是正如您所見(jiàn)，PiCamera 功能區(qū)已經(jīng)到位。這些照片是我事后拍的！但我認(rèn)為你將能夠跟隨。

1. 第一步是取下腳墊。每個(gè)腳墊都隱藏著一顆螺絲。使用內(nèi)六角扳手松開(kāi)并取下它們。

?

?

2. 打開(kāi)后，您將看到樹(shù)莓派。不幸的是，必須從底層板上的柱子上取下 Pi，以露出 PiCamera 帶狀電纜連接器。

?

?

3. Raspberry Pi 已從柱子上取下，帶狀電纜連接器暴露在外。

?

?

4. 現(xiàn)在將帶狀電纜穿過(guò)機(jī)箱頂部的線性通風(fēng)口。

?

?

5. 設(shè)置的最后一部分是為相機(jī)配備一個(gè)漂亮的外殼。在thingiverse上有很多你可以選擇的。我已經(jīng)嘗試了好幾次，到目前為止，我最喜歡的是migrassi 的PiCamera 2 Axis Rotating Holder，在下面可以看到它坐在 Mycroft 的頂部。我使用 GizmoDorks HIPS 3mm 在我的 lulzbot mini 上打印了它。支架和相機(jī)插槽需要一些打磨才能正確安裝。將相機(jī)插入插槽時(shí)要小心。當(dāng)我打印它時(shí)，它很合身！

?

手術(shù)成功，病人活了下來(lái)！

?

將相機(jī)連接并放置在其外殼中后，請(qǐng)確保將您的 pi 配置為使用相機(jī)：

sudo raspi-config 

然后，您將獲得以下菜單并按下選項(xiàng) 5 接口選項(xiàng)。

?

?

然后從那里選擇并按照提示進(jìn)行操作。建議在此之后重新啟動(dòng)。

?

?

安裝 Clarifai

請(qǐng)?jiān)陂_(kāi)始安裝 clarifai 之前通讀一遍！否則在重新啟動(dòng)時(shí)，你會(huì)以僵尸 Mycroft 告終，深情地盯著你，但永遠(yuǎn)是黃色的眼睛，但默默無(wú)聞！

安裝 clarifai python api 很簡(jiǎn)單：

pip install clarifai 

但是，這樣做會(huì)取消在 Mark 1 上運(yùn)行的 Pillow 版本，并安裝名為 Pillow 的庫(kù)的 2.9.0 版本。因此，如果您在安裝 clarifai 后出于任何原因重新啟動(dòng) Mark I，Mycroft 將無(wú)法工作，但您仍然可以ssh進(jìn)入它。快速查看/var/log/mycroft-skills.log可以看出：

Traceback (most recent call last):
 File "/usr/local/bin/mycroft-skills", line 9, in <module>
   from pkg_resources import load_entry_point
 File "/usr/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 3147, in <module>
   @_call_aside
 File "/usr/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 3131, in _call_aside
   f(*args, **kwargs)
 File "/usr/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 3160, in _initialize_master_working_set
   working_set = WorkingSet._build_master()
 File "/usr/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 668, in _build_master
   return cls._build_from_requirements(__requires__)
 File "/usr/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 681, in _build_from_requirements
   dists = ws.resolve(reqs, Environment())
 File "/usr/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 870, in resolve
   raise DistributionNotFound(req, requirers)
pkg_resources.DistributionNotFound: The 'pillow==4.1.1' distribution was not found and is required by mycroft-core

所以我們需要 4.1.1 版本的 Pillow，而不是 clarifai 安裝的 2.9.0！但不要只是 sudo pip install Pillow 因?yàn)檫@將安裝 Pillow 5.0.0 而 Mycrfot 將無(wú)法使用它。而是卸載 Pillow 并強(qiáng)制安裝 4.1.1 版本：

sudo pip install Pillow==4.1.1

但我們還沒(méi)有到那里！重新啟動(dòng)后，我仍然得到了黃疸和沉默的治療！再次查看/var/log/mycroft-skills.log顯示：

Traceback (most recent call last):
 File "/usr/local/bin/mycroft-skills", line 9, in <module>
   from pkg_resources import load_entry_point
...
pkg_resources.DistributionNotFound: The 'future==0.16.0' distribution was not found and is required by mycroft-core 

所以我只是發(fā)出了以下命令，

sudo pip install future=0.16.0

閉上眼睛重新啟動(dòng)！他還活著！最后一步是確保您授予對(duì) Mycroft 的訪問(wèn)權(quán)限以使用 PiCamera：

 sudo usermod -a -G video mycroft

我不記得在我之前的 clarifai 和 mycroft 項(xiàng)目中必須經(jīng)歷所有這些，所以一定有一些變化。經(jīng)驗(yàn)教訓(xùn)：始終閱讀安裝消息，并在出現(xiàn)問(wèn)題時(shí)始終查看 /var/log/mycroft-skills.log。現(xiàn)在樂(lè)趣可以開(kāi)始了！

使用 Clariai

clarifai python api 易于使用。我建議在嘗試將其集成到技能中之前編寫(xiě)一些測(cè)試腳本并嘗試一下。這將使您有機(jī)會(huì)熟悉它并解析它發(fā)回的 json 包。

此外，您可以調(diào)試大部分視覺(jué)功能，而不必在調(diào)試語(yǔ)音組件時(shí)擔(dān)心這一點(diǎn)。完成此操作后，將 clarifai 方面融入您的技能非常容易，想想“剪切和粘貼”。

clarifai文檔是必讀的，我有幾個(gè)項(xiàng)目也會(huì)對(duì)您有所幫助：

• 智能眼為您的 Pi

• 現(xiàn)在我們?cè)谡f(shuō)話！Pi 的智能之眼第二部分

在這篇文章中，我將專注于創(chuàng)建和訓(xùn)練自定義模型。繼續(xù)為您注冊(cè)免費(fèi)的 clarifai 開(kāi)發(fā)者帳戶，獲取您的 api 密鑰并創(chuàng)建一個(gè)應(yīng)用程序！

創(chuàng)建、訓(xùn)練和使用自定義模型

Clarifai 有許多現(xiàn)成可用的訓(xùn)練模型，例如顏色、名人、旅行等等。然而，他們沒(méi)有“石頭剪刀布”模型。這就是定制模型發(fā)揮作用的地方。clarifai 文檔中詳細(xì)描述了創(chuàng)建自定義模型。我將在這里展示我如何應(yīng)用該過(guò)程來(lái)創(chuàng)建我的“石頭剪刀布”模型。

定制模型流程：

• 添加帶有相關(guān)概念的圖像

• 創(chuàng)建模型

• 訓(xùn)練模型

• 使用模型

我用作創(chuàng)建和訓(xùn)練模型的實(shí)用程序的所有腳本的完整代碼都在我的 github 頁(yè)面上。

我在石頭、紙或剪刀的每個(gè)位置制作了手的圖像。這些是用 iPhone 拍攝的照片，我用我自己、我的妻子和兒子作為“手”模型。然后我制作了一個(gè)簡(jiǎn)單粗暴的腳本，用我的概念而不是概念將這些圖像“上傳”到 clarifai。我分別加載每個(gè)圖像：

clarifai_app.inputs.create_image_from_filename(filename="rock1.jpg", concepts=['rock'], not_concepts=['paper','scissors'])

添加所有具有相關(guān)概念的圖像后，您必須創(chuàng)建模型。這非常簡(jiǎn)單，只需要一行代碼。

model = clarifai_app.models.create('rockpaperscissors', concepts=['rock','paper','scissors'])

模型 id 只是您給它的名稱，在本例中為“rockpaperscissors”。您的圖像已加載，您的模型已制作完成。現(xiàn)在，您的模型將需要一些培訓(xùn)才能正常工作：

from clarifai.rest import ClarifaiApp
app = ClarifaiApp(api_key='YOU API KEY HERE')
model = app.models.get('rockpaperscissors')
model.train()

Clarifai 不僅返回概念，還將返回一個(gè)關(guān)聯(lián)值，該值表示 clarifai 對(duì)它所報(bào)告的概念在圖像中的信心程度。

當(dāng)我在對(duì)初始圖像進(jìn)行訓(xùn)練后首次測(cè)試模型時(shí)，模型將所有東西都識(shí)別為具有高置信度值的巖石。所以你需要做一些后續(xù)培訓(xùn)。我訓(xùn)練了用 iPhone 拍攝的圖像，石頭、紙和剪刀各 10 個(gè)。現(xiàn)在我正在查看來(lái)自我辦公桌上 PiCamera 的圖像。

所以為了進(jìn)一步訓(xùn)練模型，我做了一個(gè)簡(jiǎn)單的命令行菜單驅(qū)動(dòng)腳本。我在 ssh 的 Mark I 命令行上運(yùn)行它。我也可以將這個(gè)過(guò)程整合到 Mycroft 技能中。也許我會(huì)，但為了讓模型盡快訓(xùn)練并運(yùn)行，我去了 cli old school！

以下是顯示使用 testModel.py 腳本運(yùn)行的輸出跟蹤。概念右側(cè)的值表示已在圖片中觀察到概念的置信度。

------------------------------
  RPS - TEST MODEL MENU
------------------------------
0. Exit
1. Take Test picture
------------------------------
Enter your choice [0-1] : 1
Taking a picture...
scissors : 0.98923486
paper : 0.005966468
rock : 6.13205e-05
Enter your choice [0-1] : 1
Taking a picture...
scissors : 0.9895846
paper : 0.0037088227
rock : 0.0001315531
Enter your choice [0-1] : 1
Taking a picture...
paper : 0.95485735
scissors : 0.22752154
rock : 0.00014038719
Enter your choice [0-1] : 1
Taking a picture...
paper : 0.89271563
scissors : 0.1276629
rock : 0.00030472572

使用這個(gè)腳本，我測(cè)試了 20 輪 RPS 的隨機(jī)序列。在本次訓(xùn)練中，模型已經(jīng)使用我的手在 63 張圖像（Rock 18、Paper 24、Scissors 21）上進(jìn)行了訓(xùn)練。我的模型 80% 正確。Clarifai 有一個(gè)模型瀏覽器，可讓您查看圖像、概念、標(biāo)簽、值等。這是自定義模型的關(guān)鍵工具。

?

Clarifai 模型瀏覽器視圖

?

通過(guò)查看這些圖像以及使用 testModel.py 腳本返回給我的值。我可以看到，我沒(méi)有在巖石圖像上訓(xùn)練它足夠“手掌”，并且模型與巖石和紙張最“混淆”。所以我使用我的 trainModel.py 腳本用 5 個(gè)以上的巖石和圖像以及 4 個(gè)以上的紙質(zhì)圖像來(lái)訓(xùn)練模型。在此之后，使用相同的序列，clarfiai 定制模型得分 90%！現(xiàn)在我擔(dān)心這個(gè)模型正在學(xué)習(xí)我的手，所以我讓我兒子瀏覽了同樣的 20 張圖像。. .得分75%！懷疑得到證實(shí)。

使用這些知識(shí)，在未來(lái)，我將把模型訓(xùn)練給更多的人，來(lái)自不同的人。此外，我并沒(méi)有真正正確使用返回的分?jǐn)?shù)。返回的一些分?jǐn)?shù)彼此非常接近。我們可以利用這一事實(shí)讓 Mycroft 要求再進(jìn)行一輪，而不是回答錯(cuò)誤或?qū)_并要求確認(rèn)。我們還可以使用一種訓(xùn)練機(jī)制，讓 mycroft 定期要求確認(rèn)，尤其是在置信度值接近時(shí)。

借助慷慨的免費(fèi)開(kāi)發(fā)人員選項(xiàng)以及對(duì)圖像和操作的較大允許限制，我們可以輕松地改進(jìn)這個(gè)模型。事實(shí)上，僅用 10 張圖片就可以看到模型從 80% 提高到 90%，這向我展示了我們可以多快將其打造為可靠且通用的模型。

技能

一旦我確信我的自定義 clarifai 模型運(yùn)行良好，我就準(zhǔn)備將其納入一項(xiàng)技能中。有關(guān)創(chuàng)建 Mycroft 技能的一般信息，請(qǐng)參閱。我將重點(diǎn)介紹我在這里找到的一些重要方面。

Mycroft 技能位于 /opt/mycroft/skills 文件夾中。此文件夾中的每個(gè)文件夾都代表一項(xiàng)技能。

?

?

該技能的目錄結(jié)構(gòu)比較簡(jiǎn)單。主要操作發(fā)生在__init__.py文件中。在這里，我們創(chuàng)建技能并創(chuàng)建一個(gè)列表，以包含稍后在游戲和游戲邏輯中使用的單詞。

class RockPaperScissorsSkill(MycroftSkill):
    def __init__(self):
        super(RockPaperScissorsSkill, self).__init__(name="RockPaperScissorsSkill")
        self.gameChoices = ['rock','paper','scissors']

Mycroft 可以通過(guò)使用適應(yīng)意圖解析器或 Padatious 來(lái)確定您想要運(yùn)行的技能。Adapt 將.vocab文件中的關(guān)鍵字與話語(yǔ)中檢測(cè)到的詞（您在喚醒詞“Hey Mycroft”之后所說(shuō)的）匹配。Padatious 使用神經(jīng)網(wǎng)絡(luò)模式匹配方法將話語(yǔ)與.vocab文件中的句子進(jìn)行比較。

我喜歡 Padatious 方法，因?yàn)樗试S您對(duì)自然語(yǔ)言非常接近地建模話語(yǔ)。每種方法都有其優(yōu)點(diǎn)和缺點(diǎn)，但對(duì)于自然發(fā)音短語(yǔ)的快速技能發(fā)展，我更喜歡 Padatious。它還沒(méi)有真正支持會(huì)話上下文，這是一個(gè)減號(hào)，但我認(rèn)為這將在未來(lái)發(fā)生變化。

在初始化函數(shù)中，我們創(chuàng)建了 clarifai 應(yīng)用程序并使用它來(lái)訪問(wèn)我們之前創(chuàng)建的rockpaperscissors模型。創(chuàng)建您的 clarifai 帳戶和應(yīng)用程序后，“api_key”對(duì)您來(lái)說(shuō)是唯一的。我將它放在技能目錄的 settings.json 文件中以增加靈活性。

def initialize(self):
        self.load_data_files(dirname(__file__))
        self.clarifai_app = ClarifaiApp(api_key=self.settings["api_key"])
        self.rpsModel = self.clarifai_app.models.get('rockpaperscissors')
        self.register_intent_file('rps.intent',self.handle_rps)

一項(xiàng)技能可以根據(jù)所說(shuō)的內(nèi)容（識(shí)別的話語(yǔ)）執(zhí)行許多任務(wù)。這些話語(yǔ)中的每一個(gè)都與一個(gè)處理程序配對(duì)。在這種情況下，只有一個(gè)處理程序def handle_rps()。您可以在這里看到 Mycroft 沒(méi)有作弊，他只是隨機(jī)選擇石頭、紙或剪刀，并且這個(gè)“選擇”保存在一個(gè)列表中。Mycroft 的選擇保存在索引 0 中。然后他提示玩家選擇。這可以通過(guò)對(duì)話文件來(lái)完成，然后您可以為開(kāi)始提示添加一些變化，因?yàn)閷?duì)話文件中的行將被隨機(jī)選擇。我只是在這里保持簡(jiǎn)單，并使用了self.speak()函數(shù)。

  
def handle_rps(self,message):
    rpsRound = []
    rpsRound.append(self.mycroftChoice())
    self.speak("O K lets play")
    self.speak("rock paper scissors go")
    rpsRound.append(self.playerChoice())
    self.speak("i chose " + rpsRound[0])
    self.speak("you chose " + rpsRound[1])
    self.gameLogic(rpsRound)

然后，Mycroft 將通過(guò)評(píng)估來(lái)自 clarifai 自定義模型的響應(yīng)來(lái)確定玩家選擇了什么。

def playerChoice(self):
    self.take_picture()
    resp = self.rpsModel.predict_by_filename(self.settings["img_location"] +     'rps.jpg')
return self.parseResponse(resp)

。

?

?

?

?

?

?

?

?