自動化技術的演進與現(xiàn)狀

在數(shù)字化轉型的浪潮中，自動化技術已經從簡單的腳本執(zhí)行發(fā)展為具備智能決策能力的復雜系統(tǒng)。根據(jù)Gartner最新報告，到2025年，超過70%的企業(yè)將在其業(yè)務流程中采用某種形式的AI驅動自動化。這種轉變不僅提高了效率，更重要的是賦予了自動化系統(tǒng)前所未有的適應性和創(chuàng)造力。

傳統(tǒng)自動化工具雖然能夠完成重復性任務，但面對動態(tài)變化的網頁元素、復雜的用戶交互場景時往往力不從心。這正是AI技術可以大顯身手的地方——通過機器學習算法理解上下文，做出智能決策，并實時調整執(zhí)行策略。

傳統(tǒng)自動化VS智能自動化

流程圖

傳統(tǒng)自動化

智能自動化

各自特點

代碼對比

傳統(tǒng)自動化

async function testLogin(page) {
  await page.fill('#username', 'testuser');
  await page.fill('#password', 'Pass123!');
  await page.click('#login-btn');
  await expect(page).toHaveURL(/dashboard/);
}

痛點：元素ID變更即導致腳本失敗

智能自動化

async function smartLogin(page, ai) {
  const context = {
    pageHTML: await page.content(),
    task: "完成登錄操作",
    constraints: "使用有效測試憑證"
  };
  
  const plan = await ai.generateActionPlan(context);
  
  for (const action of plan.actions) {
    if (action.type === 'fill') {
      const element = await ai.locateElement({
        page: page,
        description: action.field
      });
      await element.fill(await ai.generateTestData(action.field));
    }
    // 其他動作類型處理...
  }
  
  const result = await ai.verifyOutcome({
    page: page,
    expected: "成功登錄"
  });
}

優(yōu)勢：自動適應登錄表單結構調整

使用技術

Playwright是什么？

Playwright 是由 Microsoft 開發(fā)的一款 跨瀏覽器、跨平臺 的 Web 自動化與測試工具，支持 Chromium（Chrome/Edge）、Firefox 和 WebKit（Safari）。它提供了一套統(tǒng)一的 API，用于自動化瀏覽器操作，適用于：

端到端（E2E）測試

UI 自動化

網頁截圖 & PDF 生成

爬取動態(tài)渲染的網頁

性能監(jiān)控

詳細介紹可參考此篇文章：點我跳轉

MidScene.js是什么？

MidScene.js 是一款面向智能自動化的 AI 場景化編程框架，通過自然語言交互和機器學習能力，賦予傳統(tǒng)自動化工具（如 Playwright）認知決策能力。它的核心定位是：

AI 增強型自動化：將大語言模型（LLM）與自動化腳本結合

低代碼/無代碼友好：支持自然語言描述任務場景

多模態(tài)交互：處理文本、圖像、結構化數(shù)據(jù)等多種輸入

企業(yè)級擴展：支持私有化部署和垂直領域微調

技術架構

網頁或移動應用

網頁自動化

與 Puppeteer集成
Puppeteer 是一個 Node.js 庫，它通過 DevTools 協(xié)議或 WebDriver BiDi 提供控制 Chrome 或 Firefox 的高級 API。Puppeteer 默認在無界面模式（headless）下運行，但可以配置為在可見的瀏覽器模式（headed）中運行。

安裝依賴

npm install @midscene/web puppeteer tsx --save-dev

demo腳本

import puppeteer from "puppeteer";
import { PuppeteerAgent } from "@midscene/web/puppeteer";

const sleep = (ms: number) => new Promise((r) => setTimeout(r, ms));
Promise.resolve(
  (async () => {
    const browser = await puppeteer.launch({
      headless: false, // here we use headed mode to help debug
    });

    const page = await browser.newPage();
    await page.setViewport({
      width: 1280,
      height: 800,
      deviceScaleFactor: 1,
    });

    await page.goto("https://www.ebay.com");
    await sleep(5000);

    // 

審核編輯 黃宇