一、為何要學(xué)習(xí)“AI+機(jī)器人”？

在開始動手實驗前，理解“AI”與“機(jī)器人”結(jié)合的價值至關(guān)重要。這不僅是技術(shù)的融合，更是開啟智能體（Agent）未來的鑰匙。

1. 從自動化到智能化

傳統(tǒng)機(jī)器人依賴于精確的預(yù)編程，只能在結(jié)構(gòu)化環(huán)境中工作。AI的引入（如計算機(jī)視覺、自然語言處理），賦予機(jī)器人感知、理解和決策的能力，使其能適應(yīng)開放、動態(tài)的真實世界。

2. 解決復(fù)雜任務(wù)的核心

本課程的終極目標(biāo)——“按顏色自動分類積木”——單一技術(shù)無法完成。它需要視覺（識別）、決策（規(guī)劃）、控制（執(zhí)行）的協(xié)同，這正是AI與機(jī)器人系統(tǒng)深度融合才能解決的典型問題。

3. 前沿技術(shù)與職業(yè)方向

“AI+機(jī)器人”是智能制造、智慧物流、服務(wù)機(jī)器人等領(lǐng)域的核心技術(shù)。掌握此項技能，意味著您將站在機(jī)器人工程師、AI算法工程師、智能系統(tǒng)集成師等前沿崗位的起點(diǎn)。

本課程的體現(xiàn)：您將親身體驗AI如何賦能機(jī)器人：

• ? 讓控制更直觀：在實驗09中，使用“拿起紅色積木”這樣的自然語言直接指揮機(jī)械臂，背后是視覺語言模型（VLM）在理解您的意圖。
• ? 讓感知更智能：在實驗05-07中，為機(jī)器人裝上“眼睛”，通過OpenCV和手眼標(biāo)定，讓它能“看見”并定位物體。
• ? 探索前沿：實驗11的具身智能實驗，讓您初步接觸讓AI模型擁有“身體”、通過交互進(jìn)行學(xué)習(xí)的更高級形態(tài)。

二、課程總覽：您將開啟怎樣的學(xué)習(xí)之旅？

本課程是一個從零開始、手腦并用的實踐指南。通過11個遞進(jìn)式實驗，您將完整走完“傳統(tǒng)控制 → 仿真與強(qiáng)化學(xué)習(xí) → 視覺語言模型（VLM）應(yīng)用”的技術(shù)演進(jìn)路徑，最終構(gòu)建一個能聽、會看、能執(zhí)行的智能機(jī)械臂系統(tǒng)。

核心學(xué)習(xí)閉環(huán)

感知（視覺）→ 決策（規(guī)劃/AI）→ 執(zhí)行（控制）

十個核心實驗構(gòu)成了您的學(xué)習(xí)階梯：

第一階段：基礎(chǔ)喚醒與控制（實驗1-4）

• ?實驗1：硬件連接、校準(zhǔn)與單關(guān)節(jié)控制——讓機(jī)械臂“動起來”。
• ?實驗2-3：正/逆運(yùn)動學(xué)——掌握關(guān)節(jié)角度與末端位置互相推算的核心數(shù)學(xué)原理。
• ?實驗4：軌跡規(guī)劃——實現(xiàn)末端執(zhí)行器的平滑直線運(yùn)動。

第二階段：視覺感知與空間映射（實驗5-7）

• ?實驗5：視覺接入與顏色識別——為機(jī)器人裝上“眼睛”。
• ?實驗6-7：逆透視變換與手眼標(biāo)定（眼在手外/眼在手上）——實現(xiàn)從圖像像素坐標(biāo)到機(jī)器人三維空間坐標(biāo)的精準(zhǔn)轉(zhuǎn)換，這是視覺控制的基礎(chǔ)。

第三階段：智能應(yīng)用與綜合任務(wù)（實驗8-10）

• ?實驗8：Gazebo仿真——在虛擬世界中安全地演練和驗證算法。
• ?實驗9：VLM自然語言控制——用日常語言指揮機(jī)械臂，體驗最直觀的人機(jī)交互。
• ?實驗10：綜合任務(wù)：積木分類——整合所有知識，完成一個完整的智能任務(wù)。

拓展探索（實驗11）

• ?實驗11：具身智能實驗：進(jìn)階內(nèi)容，初步體驗數(shù)據(jù)采集、模型訓(xùn)練，讓機(jī)械臂具備一定的自主學(xué)習(xí)能力。

三、開始前，請務(wù)必確認(rèn)您的準(zhǔn)備

為了順利開始這段旅程，請確保您已做好如下準(zhǔn)備：

硬件準(zhǔn)備（必須）

• ? 地瓜派X5/地瓜派S100 開發(fā)板
• ? Lerobot 6自由度機(jī)械臂
• ? USB攝像頭
• ? 標(biāo)定板（棋盤格）
• ? 彩色積木（紅、藍(lán)、綠各色等）

軟件與環(huán)境準(zhǔn)備（必須）

• ?操作系統(tǒng)：強(qiáng)烈推薦使用Ubuntu（實驗示例和指令均基于此系統(tǒng)）。
• ?核心軟件：需要安裝 Conda（管理Python 3.8+環(huán)境）、ROS2（機(jī)器人操作系統(tǒng)）、VS Code（代碼編輯）以及課程專用的 Lerobot庫。
• ?環(huán)境搭建：請嚴(yán)格按照《補(bǔ)充：編譯環(huán)境搭建.docx》和《ROS環(huán)境搭建教程.docx》的步驟進(jìn)行操作。

知識與技能基礎(chǔ)（重要）

• ?編程基礎(chǔ)：掌握基礎(chǔ)的Python語法（用于大部分視覺和AI實驗）和C/C++基礎(chǔ)語法（用于理解底層驅(qū)動和MoveIt2相關(guān)代碼）。
• ?核心概念：理解三維坐標(biāo)系（X, Y, Z軸）和角度（弧度制）的概念，這是理解機(jī)械臂運(yùn)動的基礎(chǔ)。
• ?工具使用：對Linux終端命令有基本了解，能夠進(jìn)行文件操作、運(yùn)行程序等。

四、核心學(xué)習(xí)建議與提醒

• ?嚴(yán)格按順序?qū)W習(xí)：實驗設(shè)計環(huán)環(huán)相扣。例如，不理解運(yùn)動學(xué)（實驗2-3）就無法進(jìn)行軌跡規(guī)劃（實驗4）；不掌握手眼標(biāo)定（實驗6-7），就無法實現(xiàn)精準(zhǔn)的視覺抓取（實驗10）。請勿跳步。
• ?動手實踐是關(guān)鍵：機(jī)器人學(xué)是實踐的科學(xué)。務(wù)必親自動手連接硬件、運(yùn)行代碼、觀察現(xiàn)象并嘗試修改參數(shù)和指令。理論只有通過實踐才能內(nèi)化。
• ?善用實驗文檔：每個實驗都有對應(yīng)的詳細(xì)操作文檔（如《實驗01-1-硬件校準(zhǔn)與簡單控制.docx》），其中包含了實驗原理、步驟、代碼和常見問題，是您最重要的“實驗手冊”。遇到問題時，首先回顧文檔。
• ?理解核心思想：請時刻思考“坐標(biāo)轉(zhuǎn)換”這一核心思想——它貫穿于從關(guān)節(jié)角度到末端位置（運(yùn)動學(xué)）、從圖像像素到空間坐標(biāo)（視覺）、從語言指令到動作參數(shù)（AI）的整個過程。
• ?注意安全：在操作真實機(jī)械臂時，注意其運(yùn)動范圍，避免夾傷或碰撞。在仿真環(huán)境（實驗8）中可大膽嘗試。