Управление компьютером

Управление локальными приложениями через дерево доступности, снимки экрана и безопасные действия интерфейса.

Команды Computer Use дают агенту доступ к локальным приложениям. Он читает дерево доступности, делает снимки экрана и выполняет действия в интерфейсе.

Команды orca computer позволяют просматривать и контролировать нативные приложения: получать список запущенных программ, читать деревья доступности, нажимать элементы, задавать значения, вводить текст, прокручивать содержимое и делать снимки экрана. Используйте их, когда задача требует работы с операционной системой или сторонним приложением, а не с терминалом или встроенным браузером.

Бета-версия

Для каждой платформы Orca устанавливает нативные вспомогательные компоненты. Им нужен доступ к специальным возможностям, а в macOS также к записи экрана. Набор команд уже достаточно стабилен для создания навыков, но названия параметров ещё могут измениться.

Первоначальная настройка

Проверьте среду выполнения и разрешения:

orca status --json
orca computer permissions --json
orca computer capabilities --json

Если команда permissions сообщает об отсутствующем разрешении, предоставьте приложению Orca Computer Use доступ к специальным возможностям и, в macOS, к записи экрана. Затем снова выполните permissions --json.

Снимок, действие, новый снимок

Каждое взаимодействие строится одинаково: прочитайте текущее состояние приложения, выполните действие с конкретным элементом и снова прочитайте состояние, чтобы проверить результат.

orca computer list-apps --json
orca computer get-app-state --app com.spotify.client --json
orca computer click --app com.spotify.client --element-index 42 --json

Индексы элементов действуют только для последнего результата get-app-state. После перехода, смены фокуса, прокрутки или повторной отрисовки приложения обновите состояние, прежде чем снова использовать индекс.

Выбор приложения

Предпочтительно использовать идентификаторы пакетов, возвращаемые list-apps:

orca computer get-app-state --app com.microsoft.edgemac --json

Можно указать имя приложения, если оно однозначно, например --app Spotify. Формат --app pid:<номер> нужен только тогда, когда совпадают и идентификатор пакета, и имя.

Доступные действия

orca computer click --app <app> --element-index <i> --json
orca computer set-value --app <app> --element-index <i> --value "text" --json
orca computer type-text --app <app> --text "text" --json
orca computer press-key --app <app> --key Return --json
orca computer hotkey --app <app> --key CmdOrCtrl+A --json
orca computer paste-text --app <app> --text "text" --json
orca computer scroll --app <app> --element-index <i> --direction down --json
orca computer drag --app <app> --from-x 100 --from-y 100 --to-x 300 --to-y 300 --json
orca computer perform-secondary-action --app <app> --element-index <i> --action <name> --json

Предпочитайте смысловые действия click, set-value и perform-secondary-action прямому вводу через type-text или press-key. Они обращаются к элементам доступности и продолжают работать после смены фокуса.

Ввод конфиденциальных данных

Передавайте секреты через стандартный ввод, чтобы они не оставались в истории оболочки:

printf '%s' "$TEXT" | orca computer set-value \
  --app com.apple.Safari --element-index 7 --value-stdin --json

Параметр --text-stdin работает так же для type-text и paste-text.

Снимки экрана

Команда get-app-state возвращает дерево доступности и по умолчанию снимок экрана. При использовании --json изображение записывается на диск, а поле screenshot.path содержит путь к нему. Если изображение не нужно, параметр --no-screenshot ускорит выполнение и уменьшит результат. Параметр --restore-window выводит скрытое или свёрнутое окно на экран перед снимком.

Использование агентом

Встроенный навык computer-use предоставляет те же команды вместе с правилами безопасности. Установите его в каталог навыков агента:

npx skills add https://github.com/stablyai/orca --skill computer-use

О подключении навыков рассказано в разделе Реестр навыков и MCP.

Связанные статьи

Обзор Orca CLI: остальные команды для worktree, терминала и браузера.
Реестр навыков и MCP: распространение CLI-инструментов среди агентов.

Частые вопросы

Что умеет Computer Use в Orca CLI?

Он позволяет агенту изучать дерево доступности приложения, делать снимки экрана и выполнять ограниченные действия интерфейса.

Какие разрешения нужны на macOS?

Обычно требуется доступ к универсальному управлению и записи экрана, который выдаётся приложению в системных настройках.

Почему индекс элемента нельзя хранить надолго?

После изменения окна дерево доступности обновляется, поэтому старый индекс может указывать уже на другой элемент.

Какой порядок действий считается безопасным?

Сначала получите снимок состояния, затем выполните одно действие и после него снова проверьте интерфейс.

Как вводить секретные значения?

Передавайте их через стандартный ввод или защищённый источник, чтобы пароль или токен не оказался в команде и журнале.