Oh My DSH.文档GitHub ↗
文档导航

DOCUMENTATION 未发布源码候选 · 0.2.2-rc.5.omd.1.8.0

本页目录

电脑与浏览器#

首页 · 文档目录 · 安装

OMD 内置 OpenCU。单独装的 OpenCU 和 OMD 内置的用同一套核心,不用另外启动控制服务。

第一次使用#

  1. 打开 设置 → 电脑与浏览器,看后端状态,按提示准备浏览器或授予系统权限。
  2. 想用你自己的 Chrome/Edge(带登录状态)时,安装扩展,第一次连接时选 允许并记住。只连接你想让 AI 用的那个 profile。
  3. 先拿一个不涉及私人信息的小任务试试,比如:"打开这个页面,搜索 release notes,告诉我看到了什么。"

模型要支持工具调用,看截图还要支持图片输入。系统权限和每个应用的访问授权分别生效,OpenCU 不会自动授权。

你能做什么#

  • 看现场:AI 操作时会显示页面和活动,点预览可以跳回对应目标。隐藏预览不会停止任务。
  • 批注:在网页和图片上指出具体位置并留言。选中回答里的文字可复制、引用或批注;不填留言时插入原生引用,填写留言时插入一条带原文位置的批注。
  • 自己动手:你自己操作后,AI 会重新观察再继续,不用先"接管"。
  • 停止:点停止会取消任务并释放 AI 占用的键盘鼠标。出错时保留诊断信息。

目标、停止与继续#

AI 认的是具体的浏览器、标签页或窗口。同名窗口、关掉后重开的标签页不会被当成原来那个。页面变了它会重新观察。

一个页面出错只影响这个页面,其他页面照常可用。停止后,你让它继续时它会先核对目标和键鼠已释放,再接着做,不会重放结果不明的动作。键鼠释放失败时会阻止继续操作,并说明是哪个目标。

监看的目标和操作的目标可以不同。浮动预览能同时显示多个目标。

浏览器的三种用法#

用法 需要
DSH 桌面版里的内嵌浏览器 配套适配的 DSH 桌面版
独立浏览器 按设置页提示下载浏览器资源,和你的日常浏览器分开
Chrome/Edge 扩展 装扩展并允许连接;浏览器正常重启后会自动恢复连接

在 设置 → 电脑与浏览器 → 浏览器优先级 选择路线。默认「内置优先」,有合适的内置标签就复用,否则在当前会话的内置浏览器新开。「优先复用」也会考虑你明确允许使用的已连接 Chrome/Edge 标签。明确指定的浏览器不受此设置影响。

默认在后台操作,不抢你的窗口。目标不支持后台操作时,会返回 FOREGROUND_REQUIRED,要你同意后才切到前台操作。

各系统的情况#

  • macOS:用系统无障碍接口、窗口截图和定向事件。有的应用会忽略后台事件。
  • Windows:用 UIA/Win32。
  • Linux:用 X11/AT-SPI 或 Wayland portal。能做什么取决于系统依赖、权限和应用本身。
  • 多显示器且缩放比例不同时暂不支持。
  • 动作完成只表示已经发出,实际结果要重新观察确认。

数据默认存在 DSH_HOME/opencu(没有 DSH_HOME 时是 ~/.opencu),可以在设置里改。下载记录:清空历史不会删文件;重启后状态不明的下载暂时不能操作,等 DSH 报告真实状态后恢复,不会自动重下。

技术说明见内置 OpenCU 说明,组件来源见第三方声明。