自动化技能
完成自动化配置后,你的 AI Bot 可以使用 Python 和 uiautomator2 控制手机 UI。本页介绍如何使用这个技能。
自动化技能让你的 Bot 可以:
- 打开和操作各种 App
- 点击按钮和菜单项
- 输入文字(支持中文)
- 读取屏幕内容
- 执行复杂的多步骤工作流
使用自动化命令前,确保:
- Shizuku 正在运行
- u2 服务正在运行
直接告诉 Bot 你想在手机上做什么。例如:
- “打开微信,给张三发一条消息:晚上一起吃饭”
- “截个屏给我看看”
- “打开设置,看看电池还剩多少”
- “打开小红书,发一张图片,配文’今日份快乐’”
Bot 会把复杂任务拆解成一步步的操作,每一步都会观察屏幕状态。
自动化遵循 观察 → 操作 → 观察 的模式:
- 观察:读取当前屏幕状态(哪个 App、显示了什么)
- 操作:执行一个动作(点击、输入、滑动)
- 观察:检查结果,再决定下一步
这种逐步执行的方式确保了可靠性,特别是对于动态变化的 App 界面。
- 按名称打开 App
- 点击按钮、菜单项、图标
- 滑动和滚动
- 按返回/主页键
- 在搜索框、聊天输入框、表单中输入
- 通过 FastInputIME 支持中文输入
- 清除和替换文字
- 获取当前 App 和页面
- 检查元素是否存在
- 读取屏幕上的文字内容
打开 App
Section titled “打开 App”"打开微博"Bot 会找到并启动微博 App。
"打开微信,找到妈妈的聊天,发一条:晚上回家吃饭"Bot 会:
- 打开微信
- 搜索妈妈的聊天
- 点击进入对话
- 输入消息
- 点击发送
"打开设置,告诉我手机的安卓版本"Bot 会导航到关于手机页面并读取版本信息。
与其说”在社交媒体发点东西”,不如说”打开小红书,发一张最近的照片,配文’周末愉快’“。
复杂的操作需要时间。Bot 会等待页面加载并验证每一步。
如果出了问题,Bot 会尝试恢复或询问你的指示。
- 不输入密码:出于安全考虑,不要让 Bot 输入密码
- App 差异:有些 App 有特殊的自定义 UI,可能需要特别处理
- 需要网络:App 操作需要网络连接
- 屏幕要亮:自动化需要屏幕处于活动状态
”u2 service not running”
Section titled “”u2 service not running””去自动化面板点击 “Start u2 Service”。
操作似乎没有生效
Section titled “操作似乎没有生效”- 确保目标 App 完全加载
- 尝试更具体地描述要点击什么
- 检查 App 是否需要更新
文字输入失败
Section titled “文字输入失败”- Bot 会自动尝试不同的输入方式
- 中文输入使用 FastInputIME 以保证可靠性
Bot 好像卡住了
Section titled “Bot 好像卡住了”- 说”停止”或”取消”来中断
- 检查 App 是否弹出了对话框