通过使用 Midscene.js Android 设备,你可以快速在 Android 设备上体验 Midscene 的主要功能,而无需编写任何代码。
该 Playground 和 @midscene/android 包共享一份代码,因此你可以将其 视为 Midscene Android SDK 的一个 Playground 或调试工具。

安装 Node.js 18 或以上版本。
准备一个视觉语言(VL)模型的 API Key。
你可以在 选择 AI 模型 文档中查看 Midscene.js 支持的模型和配置。
adb 是一个命令行工具,允许你与 Android 设备通信。有两种安装 adb 的方法:
验证 adb 是否安装成功:
当你看到以下输出时,表示 adb 安装成功:
ANDROID_HOME参考Android 环境变量,设置环境变量 ANDROID_HOME。
验证 ANDROID_HOME 变量是否设置成功:
当上述命令有输出时,表示 ANDROID_HOME 变量设置成功:
在 Android 设备的开发者选项中,启用 'USB 调试',如果存在 'USB 调试(安全设置)',也启用它,然后使用 USB 线连接 Android 设备。

验证连接:
当看到以下输出时,表示连接成功:
点击齿轮按钮,进入配置页面:

参考 配置模型和服务商 文档,配置 API Key。
配置完成后,你可以立即开始使用 Midscene。它提供了多个关键操作 Tab,包括但不限于:
所有 Agent API 都能在 Playground 上直接调试和运行!交互、提取、验证三大类方法全覆盖,可视化操作和验证,让你的自动化开发效率飙升。
快来试试吧!
关于自动规划(Auto Planning)和即时操作(Instant Action)的区别,请参考 API 文档。
插件体验结束后,你可能想将 Midscene 集成到代码中。这里有几种不同集成形式的文档: