支持 Android 自动化
我们很高兴地宣布：从 Midscene v0.15 开始，我们开始支持 Android 自动化。AI 驱动的 Android 自动化时代已经到来！
案例展 示
地图导航到景点
打开地图 App，搜索目的地，然后发起导航。
打开 Twitter，自动点赞 @midscene_ai 的第一个推文。
适配所有的应用
对于我们的开发者来说，你只需要 adb 和一个视觉语言（visual language, VL）模型服务。所有的准备工作就做好了！
在运行期，我们利用 VL 模型的视觉定位能力来定位屏幕上的目标元素。因此，无论是原生 App ，Lynx 页面还是 Hybrid App 中的 webview，它都无关紧要。开发者可以编写自动化脚本，而无需担心 App 本身的技术栈。
引入 Midscene 的全部特性
当使用 Midscene 进行 Web 自动化时，我们的用户喜欢使用我们的 Playground 和运行报告能力。现在，我们已经将这些特性引入到 Android 自动化中！
使用 Playground 来试用 Android 自动化，而不需要写任何代码
使用报告重放整个过程
使用 YAML 文件编写自动化脚本
# search headphone on ebay, extract the items info into a json file, and assert the shopping cart icon
android:
deviceId: s4ey59
tasks:
- name: search headphones
flow:
- aiAction: open browser and navigate to ebay.com
- aiAction: type 'Headphones' in ebay search box, hit Enter
- sleep: 5000
- aiAction: scroll down the page for 800px
- name: extract headphones info
flow:
- aiQuery: >
{name: string, price: number, subTitle: string}[], return item name, price and the subTitle on the lower right corner of each item
name: headphones
- name: assert Filter button
flow:
- aiAssert: There is a Filter button on the page
使用 JavaScript SDK 来编写自动化脚本
import { AndroidAgent, AndroidDevice, getConnectedDevices } from '@midscene/android';
import "dotenv/config"; // read environment variables from .env file
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
Promise.resolve(
(async () => {
const devices = await getConnectedDevices();
const page = new AndroidDevice(devices[0].udid);
// 👀 init Midscene agent
const agent = new AndroidAgent(page,{
aiActionContext:
'If any location, permission, user agreement, etc. popup, click agree. If login page pops up, close it.',
});
await page.connect();
await page.launch('https://www.ebay.com');
await sleep(5000);
// 👀 type keywords, perform a search
await agent.aiAction('type "Headphones" in search box, hit Enter');
// 👀 wait for the loading
await agent.aiWaitFor("there is at least one headphone item on page");
// or you may use a plain sleep:
// await sleep(5000);
// 👀 understand the page content, find the items
const items = await agent.aiQuery(
"{itemTitle: string, price: Number}[], find item in list and corresponding price"
);
console.log("headphones in stock", items);
// 👀 assert by AI
await agent.aiAssert("There is a category filter on the left");
})()
);
使用两种风格的 API 来执行交互
自动规划（Auto-planning）风格：
await agent.ai('input "Headphones" in search box, hit Enter');
即时操作（Instant Actions）风格：
await agent.aiInput('Headphones', 'search box');
await agent.aiKeyboardPress('Enter');
快速开始
你可以使用 Playground 工具来零代码快速体验 Android 自动化的过程，详情参阅 使用 Android Playground 快速体验。
在体验完成后，你可以通过 Javascript 代码与 Android 设备进行集成，请参阅 与 Android(adb) 集成。
如果你更偏爱 Yaml 文件形式的自动化脚本，请参阅 使用 YAML 格式的自动化脚本。
