跳转到内容

自动化技能

完成自动化配置后,你的 AI Bot 可以使用 Python 和 uiautomator2 控制手机 UI。本页介绍如何使用这个技能。

自动化技能让你的 Bot 可以:

  • 打开和操作各种 App
  • 点击按钮和菜单项
  • 输入文字(支持中文)
  • 读取屏幕内容
  • 执行复杂的多步骤工作流

使用自动化命令前,确保:

  1. Shizuku 正在运行
  2. u2 服务正在运行

直接告诉 Bot 你想在手机上做什么。例如:

  • “打开微信,给张三发一条消息:晚上一起吃饭”
  • “截个屏给我看看”
  • “打开设置,看看电池还剩多少”
  • “打开小红书,发一张图片,配文’今日份快乐’”

Bot 会把复杂任务拆解成一步步的操作,每一步都会观察屏幕状态。

自动化遵循 观察 → 操作 → 观察 的模式:

  1. 观察:读取当前屏幕状态(哪个 App、显示了什么)
  2. 操作:执行一个动作(点击、输入、滑动)
  3. 观察:检查结果,再决定下一步

这种逐步执行的方式确保了可靠性,特别是对于动态变化的 App 界面。

  • 按名称打开 App
  • 点击按钮、菜单项、图标
  • 滑动和滚动
  • 按返回/主页键
  • 在搜索框、聊天输入框、表单中输入
  • 通过 FastInputIME 支持中文输入
  • 清除和替换文字
  • 获取当前 App 和页面
  • 检查元素是否存在
  • 读取屏幕上的文字内容
"打开微博"

Bot 会找到并启动微博 App。

"打开微信,找到妈妈的聊天,发一条:晚上回家吃饭"

Bot 会:

  1. 打开微信
  2. 搜索妈妈的聊天
  3. 点击进入对话
  4. 输入消息
  5. 点击发送
"打开设置,告诉我手机的安卓版本"

Bot 会导航到关于手机页面并读取版本信息。

与其说”在社交媒体发点东西”,不如说”打开小红书,发一张最近的照片,配文’周末愉快’“。

复杂的操作需要时间。Bot 会等待页面加载并验证每一步。

如果出了问题,Bot 会尝试恢复或询问你的指示。

  • 不输入密码:出于安全考虑,不要让 Bot 输入密码
  • App 差异:有些 App 有特殊的自定义 UI,可能需要特别处理
  • 需要网络:App 操作需要网络连接
  • 屏幕要亮:自动化需要屏幕处于活动状态

去自动化面板点击 “Start u2 Service”。

  • 确保目标 App 完全加载
  • 尝试更具体地描述要点击什么
  • 检查 App 是否需要更新
  • Bot 会自动尝试不同的输入方式
  • 中文输入使用 FastInputIME 以保证可靠性
  • 说”停止”或”取消”来中断
  • 检查 App 是否弹出了对话框