Computer Use — управление экраном

Модуль: 9. Продвинутые возможности | Время: ~30 мин теории + 40 мин практики

Суть урока

Удалённый рабочий стол, где оператором выступает AI. Claude видит твой экран (через скриншоты), может кликать, печатать, скроллить — в приложениях, которые ты явно разрешил (permission — разрешение, право выполнять действие). Это не браузерная автоматизация и не API (эй-пи-ай — интерфейс программирования)-интеграция. Это управление нативными приложениями: Finder, Calendar, Notes, System Settings — любым десктопным инструментом без API.

В Claude Code это реализовано через встроенный MCP-сервер computer-use (Computer Use — Компьютер Юз — режим управления рабочим столом). На октябрь 2026 в Claude Code для терминала это research preview (экспериментальная функция) на macOS для тарифов Pro и Max; на Team и Enterprise её нет. В приложении Claude для компьютера та же возможность есть на macOS и Windows. На уровне Anthropic API у инструмента есть актуальная версия computer_toolset_20260801 (без beta-заголовка) и прежняя бета-версия computer_20251124 для старых моделей.

Термины урока: Computer Use (Компьютер Юз — режим управления рабочим столом), API (эй-пи-ай — интерфейс программирования), permission (разрешение — право выполнять действие), prompt (промпт — запрос к AI), token (токен — единица текста для AI).

Ключевые концепции

• Computer Use — возможность Claude управлять экраном через MCP-сервер computer-use (в Claude Code) или через API tool type computer_toolset_20260801 (в Anthropic API)
• Tiered access — трёхуровневая система доступа к приложениям (только просмотр / только клики / полный)
• request_access — явный запрос разрешения на управление конкретным приложением перед любым действием
• Screenshot → analyze → act loop — рабочий цикл (agentic loop): скриншот, анализ, действие, проверка
• computer_batch — пакетные команды для нескольких действий подряд без лишних round-trip вызовов
• Teach mode — интерактивный режим обучения с всплывающими подсказками (tooltips) над каждым действием
• zoom — увеличение области экрана для чтения мелкого текста (в актуальной версии инструмента включён по умолчанию)

Теория

Два контекста использования

Computer Use существует на двух уровнях:

1. В Claude Code (через MCP) — встроенный сервер computer-use с набором инструментов (снимок экрана, клик, ввод текста и другие). Работает локально на твоём Mac. Он выключен по умолчанию. Чтобы включить: в интерактивной сессии набери /mcp, найди computer-use, выбери Enable (настройка запоминается для проекта). При первом использовании macOS попросит два разрешения: Accessibility (клики и ввод) и Screen Recording (чтобы видеть экран). В режиме -p (без интерактива) функция недоступна. Названия инструментов внутри сервера меняются от версии к версии, поэтому в примерах ниже они условные: вызывает их Claude, а не ты.

2. Через Anthropic API — ты сам реализуешь выполнение действий в своей среде (Docker, виртуальная машина, Xvfb). Актуальная версия инструмента computer_toolset_20260801 не требует beta-заголовка; для старых моделей остаётся бета computer_20251124 с заголовком anthropic-beta: computer-use-2025-11-24.

В этом уроке фокус на Claude Code, но понимание API-уровня важно для создания собственных автоматизаций. Если в Claude Code есть более точный путь, Claude выбирает его сам: сначала MCP-сервер, потом Bash, потом Claude in Chrome для веба, и только в конце управление экраном.

Три уровня доступа (Tiered Access)

🎨 Образ: Три уровня доступа — как пропускная система в офисном здании. Лобби (Read): можешь смотреть, нельзя трогать. Рабочие этажи (Click): можешь нажимать кнопки, нельзя распоряжаться документами. Серверная (Full): полный доступ, только для доверенных.

Computer Use работает по принципу явного разрешения. Когда Claude запрашивает доступ к приложению (в инструменте это называется request_access), ты видишь диалог с указанием уровня. Разрешение действует на одну сессию (Allow for this session). Остановить Claude можно в любой момент клавишей Esc или Ctrl+C в терминале. Одновременно управлять компьютером может только одна сессия:

Уровень определяется категорией приложения, а не твоим выбором. Браузеры всегда только просмотр, терминалы всегда только клики. Это архитектурное решение безопасности. Дополнительно перед разрешением ты видишь предупреждения для приложений с широким доступом: терминалы и IDE (равнозначно доступу к командной строке), Finder (может читать и писать любые файлы), System Settings (может менять системные настройки).

Почему браузеры только для просмотра? Для веба есть более точный и безопасный инструмент — расширение Claude in Chrome (работает с DOM, быстрее пиксельных кликов; см. урок Автоматизация браузера). Computer Use для веба — как забивать гвозди микроскопом.

Почему терминалы в Click? Для команд есть Bash tool — прямой доступ к shell. Печать через Computer Use в терминал создавала бы риск неконтролируемого выполнения команд.

Как запрашивать доступ

# В Claude Code — через MCP tool
mcp__computer_use__request_access(
    apps=["Finder", "Calendar", "Notes"],
    reason="Автоматизация создания событий в Calendar"
)

# Пользователь видит диалог:
# "Claude wants to control: Finder (full), Calendar (full), Notes (full)"
# "Reason: Автоматизация создания событий в Calendar"
# [Allow] [Deny]

Без вызова request_access Claude не может взаимодействовать ни с одним приложением. Если в процессе работы понадобится новое приложение — нужен ещё один request_access.

Рабочий цикл: Screenshot → Analyze → Act (Agentic Loop)

🎨 Образ: Agentic loop — как слепой читающий по Брайлю. Потрогал (скриншот), понял где находится (анализ), нажал нужную точку (действие), проверил результат (следующий скриншот). Шаг за шагом, уверенно.

Каждое действие Computer Use проходит через цикл, который в документации Anthropic называется agentic loop:

1. screenshot() → получаем картинку экрана
2. Claude анализирует: что видит? где нужный элемент? какие координаты?
3. Claude запрашивает действие: click, type, scroll
4. Система выполняет действие
5. screenshot() → Claude проверяет результат
6. Повторяем пока задача не выполнена

Координаты: Claude работает с пиксельными координатами [x, y] на скриншоте. Координата [0, 0] — верхний левый угол экрана.

Пример в Claude Code:

# Шаг 1: смотрим на экран
screen = mcp__computer_use__screenshot()

# Шаг 2: Claude анализирует картинку и находит элемент
# Claude видит: кнопка "New Event" в Calendar, координаты [1180, 45]

# Шаг 3: кликаем по найденным координатам
mcp__computer_use__left_click(coordinate=[1180, 45])

# Шаг 4: вводим текст
mcp__computer_use__type(text="Встреча с клиентом")

# Шаг 5: скриншот — проверяем результат
screen_after = mcp__computer_use__screenshot()

Доступные действия

Базовые (все версии):

• screenshot — захват текущего экрана
• left_click — клик по координатам [x, y]
• type — ввод текста
• key — нажатие клавиши или комбинации (например "ctrl+s", "Return", "Tab")
• mouse_move — перемещение курсора

Расширенные (в более поздних версиях инструмента):

• scroll — скролл в любом направлении с контролем количества
• left_click_drag — drag-and-drop между координатами
• right_click, middle_click — дополнительные кнопки мыши
• double_click, triple_click — двойной / тройной клик
• left_mouse_down, left_mouse_up — отдельно нажатие и отпускание кнопки
• hold_key — удержание клавиши определённое время (в секундах)
• wait — пауза между действиями

Увеличение экрана (zoom):

• zoom — увеличение области экрана для детального осмотра мелкого текста / UI элементов. В актуальном наборе инструментов computer_toolset_20260801 включён по умолчанию; в прежней бете computer_20251124 (для старых моделей; какие именно, указано в официальной документации) требует enable_zoom: true в определении инструмента

Модификаторы клика: можно удерживать Shift / Ctrl / Alt / Cmd (Super) при клике:

{
  "action": "left_click",
  "coordinate": [500, 300],
  "text": "shift"
}

Пакетные действия: computer_batch

🎨 Образ: computer_batch — как дать курьеру список из 6 адресов сразу, а не звонить после каждой доставки. Один выезд — шесть дел. Без batch — шесть поездок туда-обратно.

Вместо шести отдельных round-trip вызовов — один пакет:

mcp__computer_use__computer_batch(actions=[
    {"action": "screenshot"},
    {"action": "left_click", "coordinate": [1180, 45]},
    {"action": "type", "text": "Встреча с клиентом"},
    {"action": "key", "text": "Tab"},
    {"action": "type", "text": "14:00"},
    {"action": "screenshot"}
])

Это существенно быстрее: один round-trip вместо шести. Действия выполняются последовательно и останавливаются при первой ошибке. Координаты внутри batch ссылаются на скриншот до начала batch.

Teach Mode — интерактивное обучение

🎨 Образ: Teach mode — как инструктор по вождению с двойным управлением. Он показывает на руль — «вот сюда поверни», ты жмёшь Next, он поворачивает, ты видишь результат. Учишься наблюдая за реальными действиями, а не читая инструкцию.

Teach mode — режим, в котором Claude показывает пошаговые подсказки (tooltips) поверх экрана. Пользователь нажимает "Next" на каждом шаге, а Claude объясняет что происходит и выполняет действие.

# Запрос на обучающий режим
mcp__computer_use__request_teach_access(
    apps=["System Settings"],
    reason="настройка Wi-Fi"
)

# Начальный скриншот
mcp__computer_use__screenshot()

# Каждый шаг: подсказка + действие
mcp__computer_use__teach_step(
    explanation="Это иконка System Settings. Нажмём на неё чтобы открыть настройки.",
    next_preview="Откроется окно System Settings",
    anchor=[512, 400],
    actions=[
        {"action": "left_click", "coordinate": [512, 400]}
    ]
)

В teach mode:

• Главное окно Claude скрывается, появляется полноэкранный overlay с подсказками
• Пользователь видит стрелку к элементу + текст объяснения
• Нажатие "Next" выполняет действие и показывает результат
• Нажатие "Exit" прерывает обучение
• teach_batch — пакет шагов за один вызов (быстрее чем по одному)

Полезно когда записываешь демо-видео, обучаешь команду или показываешь клиенту как настроить что-то.

Zoom — увеличение области экрана

Для инспекции мелкого текста, подписей кнопок и UI-деталей которые плохо видны на скриншоте:

# Увеличиваем область [x1, y1, x2, y2]
mcp__computer_use__zoom(region=[100, 200, 400, 350])

Zoom возвращает изображение в полном разрешении указанной области. Координаты в последующих кликах всегда относятся к полноэкранному скриншоту, а не к увеличенному изображению.

Практические случаи применения

Автоматизация нативных приложений без API:

# Создание задачи в Apple Reminders
# (у Reminders нет публичного API для Claude Code)
mcp__computer_use__request_access(
    apps=["Reminders"],
    reason="Создание задачи"
)
mcp__computer_use__open_application(app="Reminders")
screen = mcp__computer_use__screenshot()
# Claude находит кнопку "+" и кликает
mcp__computer_use__left_click(coordinate=[PLUS_X, PLUS_Y])
mcp__computer_use__type(text="Позвонить клиенту")
mcp__computer_use__key(text="Return")

Настройка System Settings:

# Изменение параметров в macOS System Settings
mcp__computer_use__request_access(
    apps=["System Settings"],
    reason="Настройка параметров отображения"
)
mcp__computer_use__open_application(app="System Settings")
# Claude видит экран, находит нужный раздел, кликает, настраивает

Заполнение форм в корпоративных системах:

# CRM без API → заполняем через Computer Use
mcp__computer_use__request_access(
    apps=["CRM App"],
    reason="Заполнение карточки клиента"
)
mcp__computer_use__open_application(app="CRM App")
# Claude находит поле "Имя клиента", кликает, вводит данные
mcp__computer_use__computer_batch(actions=[
    {"action": "left_click", "coordinate": [NAME_X, NAME_Y]},
    {"action": "type", "text": "Иван Петров"},
    {"action": "key", "text": "Tab"},
    {"action": "type", "text": "[email protected]"},
    {"action": "screenshot"}
])

Computer Use через Anthropic API (для разработчиков)

Если ты строишь собственное приложение с Computer Use — нужно понимать API-уровень:

import anthropic

client = anthropic.Anthropic()

# Актуальный набор инструментов: beta-заголовок не нужен
response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=1024,
    tools=[
        {"type": "computer_toolset_20260801"},  # версия набора инструментов на октябрь 2026
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Сделай скриншот рабочего стола"}],
)

# Для старых моделей остаётся бета-версия (какие модели — смотри официальную документацию):
# tools=[{"type": "computer_20251124", "name": "computer",
#         "display_width_px": 1024, "display_height_px": 768}],
# betas=["computer-use-2025-11-24"]  # через client.beta.messages.create

Ключевые отличия от Claude Code:

• Ты сам реализуешь выполнение действий (захват скриншотов, клики, ввод)
• Рекомендуется изолированная среда: Docker-контейнер или виртуальная машина
• Координаты Claude возвращает относительно масштабированного скриншота (максимум 2576 px по длинной стороне для актуальных моделей вроде Opus 5.5 и Sonnet 5.5, 1568 px для более ранних)
• При высоком разрешении нужно масштабировать координаты обратно

Стоимость: каждый скриншот добавляет порядка тысячи-двух входных токенов (больше на моделях с высоким разрешением), плюс небольшие накладные расходы на описание инструмента. Документация советует держать в запросе не больше ~20 картинок и чистить историю скриншотов пачками. Цены за токены: актуальные цены и версии: Актуальное сейчас.

Ограничения — что Computer Use не делает

Точный перечень запретов задают политика допустимого использования Anthropic и руководство по безопасности computer use; сверяйся с ними.

Ограничения точности (из официальной документации):

• Латентность: Computer Use медленнее обычных действий пользователя — это фоновый инструмент, не замена мышке
• Точность координат: Claude может ошибаться в координатах, особенно на сложных интерфейсах
• Нишевые приложения: надёжность снижается при работе с редкими приложениями или несколькими приложениями одновременно
• Промпт-инъекции: текст на веб-страницах или в изображениях может повлиять на поведение Claude. Anthropic встроила классификаторы для обнаружения инъекций

🎨 Образ: TeamViewer, но оператором выступает AI. Он видит твой экран, может кликать и печатать — но только в приложениях которые ты явно разрешил, и с ограничениями на чувствительные действия. Ты полностью контролируешь список разрешений.

Безопасность: рекомендации Anthropic

Из официальной документации:

1. Используй изолированную среду (виртуальную машину / контейнер) с минимальными привилегиями — для API-интеграций. В Claude Code computer use работает на твоём настоящем рабочем столе, а не в песочнице: граница доверия другая, чем у Bash
2. Не давай модели доступ к чувствительным данным — логины, пароли, банковские данные
3. Ограничивай интернет-доступ белым списком доменов
4. Просматривай решения с реальными последствиями — финансовые операции, принятие условий, отправка данных
5. Никогда не кликай по ссылкам из писем и сообщений через Computer Use — они могут быть подозрительными
6. Помни про prompt injection: текст на экране может попытаться дать Claude свою команду. Подробнее: защита от prompt injection

🎨 Образ: Computer Use — инструмент последней мили. Есть API — бери API (быстрее, точнее). Есть MCP — бери MCP. Computer Use — когда API нет, MCP нет, а задача есть. Молоток для гвоздей, не для всех работ.

Когда Computer Use vs альтернативы

Практика

Задание: Автоматизация создания события в Calendar

1. Убедись что MCP computer-use включён: он встроен в Claude Code, но выключен по умолчанию. Набери /mcp, выбери computer-use и Enable. Нужен macOS, тариф Pro или Max, интерактивная сессия; macOS попросит разрешения Accessibility и Screen Recording

2. Запроси доступ к Calendar:

   Ты

   Попроси Claude: "Открой Calendar и создай событие"
   Claude автоматически вызовет request_access с приложением Calendar
   Ты увидишь диалог разрешения — нажми Allow

3. Сделай первый скриншот — убедись что Claude видит экран:

   Ты

   Claude вызовет screenshot() и опишет что видит

4. Создай тестовое событие «Проверка Claude» на завтра в 10:00

   • Claude найдёт кнопку создания, кликнет, заполнит поля

5. Посмотри как Claude использует computer_batch — несколько действий одним вызовом

6. Верифицируй финальным скриншотом что событие создано

7. Bonus: Попробуй teach mode — попроси Claude "покажи пошагово как создать событие в Calendar". Он переключится в обучающий режим с подсказками

Цель: понять как строится цикл screenshot → analyze → act и почувствовать latency (Computer Use медленнее API-интеграций, но работает с любым приложением).

Инструменты и ресурсы

• Anthropic docs (Computer Use в Claude Code) — code.claude.com/docs/en/computer-use
• Anthropic docs (Computer Use API) — platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool — полная спецификация API
• Reference implementation — github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo — Docker-контейнер с полной реализацией
• MCP computer-use — встроен в Claude Code, включается через /mcp
• Claude in Chrome — для веб-задач вместо Computer Use в браузере
• list_granted_applications — проверка текущих разрешений и уровней доступа

Ключевые выводы

Computer Use — функция для управления нативными приложениями без API (в Claude Code на октябрь 2026 — research preview на macOS для Pro и Max). В Claude Code работает через встроенный MCP-сервер, в собственных приложениях — через API (computer_toolset_20260801).

Три уровня доступа — архитектурная защита. Браузеры только для просмотра (для веба есть Claude in Chrome), терминалы только клики (для команд есть Bash tool), всё остальное полный доступ.

Agentic loop: screenshot → анализ → действие → screenshot → проверка. Используй computer_batch для уменьшения round-trips и zoom для чтения мелкого текста.

Teach mode — уникальная функция для интерактивного обучения. Claude показывает пошаговые подсказки поверх экрана, пользователь нажимает Next на каждом шаге.

Безопасность: никогда не давай Computer Use доступ к чувствительным данным. Для API-интеграций используй Docker/VM. Claude обучен сопротивляться промпт-инъекциям, но дополнительная изоляция обязательна.

Что дальше

→ Prompt Caching и Batch API: экономика масштаба