# Computer Use

> 相关：[[测试策略金字塔]]、[[Browser_Use]]、[[Playwright]]、[[MCP]]

## 定义

**Computer Use**是Anthropic推出的OS级视觉操作方案，让AI可以操作任何桌面应用。

**核心思想**：AI截取屏幕截图 → 视觉识别元素 → 输出坐标/按键操作 → 沙箱执行。

## 核心特征

### 1. OS级通用
- 可以操作任何应用
- 不限于浏览器
- 桌面级操作

### 2. 视觉理解
- 基于截图识别元素
- 输出坐标和按键
- 强大的视觉理解能力

### 3. 沙箱执行
- 在沙箱环境中执行
- 安全性高
- 可控制

## 原理

```
AI截取屏幕截图
  ↓
视觉识别元素
  ↓
输出坐标/按键操作
  ↓
沙箱执行
  ↓
返回结果
```

## 与其他方案对比

| 维度 | Computer Use | Playwright MCP | Chrome DevTools MCP | Browser Use |
|------|--------------|----------------|---------------------|-------------|
| 原理 | AI截取屏幕截图 → 视觉识别元素 → 输出坐标/按键操作 | 通过Playwright访问浏览器Accessibility Tree | 通过Chrome DevTools Protocol直接与浏览器引擎通信 | Python框架 + Playwright，AI自主决策循环 |
| 抽象层 | 截图 + 坐标 OS级视觉理解 | Accessibility Tree 结构化DOM快照 | CDP Protocol DevTools协议原生 | DOM + 截图 视觉 + 结构化混合 |
| 速度 | 慢 0.8-2s/步 | 快 ~0.9s/步 | 中 ~1.2s/步 | 中 ~1.5s/步 |
| Token消耗 | 高 截图编码开销大 | 高 截图+结构全传 | 中 按需取数据 | 极低 CLI模式 ~75 tok/步 |
| JS重页面 | 高 — 视觉理解 | 中 — DOM可读 | 中 — CDP可取 | 中 — 视觉兜底 |
| 跨应用操作 | 全桌面 | 仅浏览器 | 仅浏览器 | 仅浏览器 |

## 使用示例

### 基本使用
```python
from anthropic import Anthropic

client = Anthropic()

response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[{
        "type": "computer_20241022",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
    }],
    messages=[{
        "role": "user",
        "content": "Open Chrome and go to google.com"
    }]
)
```

## 适用场景

- **桌面应用自动化**：操作任何桌面应用
- **需要跨应用操作**：多个应用协同
- **复杂视觉场景**：需要视觉理解
- **无法使用API的场景**：没有API的应用

## 优势

- **可以操作任何应用**：不限于浏览器
- **可以处理复杂的视觉场景**：视觉理解能力强
- **OS级通用**：桌面级操作

## 挑战

- **速度慢**：0.8-2s/步
- **Token消耗高**：截图编码开销大
- **依赖视觉识别准确性**：可能误识别
- **成本高**：Token消耗大

## 最佳实践

1. **需要跨应用选Computer Use**：OS级通用
2. **复杂视觉场景选Computer Use**：视觉理解能力强
3. **成本敏感不选Computer Use**：Token消耗高
4. **速度要求高不选Computer Use**：速度慢

## 方案选择指南

| 场景 | 推荐方案 | 理由 |
|------|---------|------|
| E2E测试 | Playwright MCP | 速度快，结构化信息丰富 |
| 性能分析 | Chrome DevTools MCP | 可以监控网络和性能 |
| 网页自动化 | Browser Use | Token消耗低，AI自主决策 |
| 桌面应用 | Computer Use | 可以操作任何应用 |
| Token成本敏感 | Browser Use | 极低Token消耗 |
| 复杂视觉场景 | Computer Use | 视觉理解能力强 |

## 相关概念

- [[测试策略金字塔]]：Computer Use是测试的工具
- [[Browser_Use]]：Computer Use和Browser Use的对比
- [[Playwright]]：Computer Use和Playwright的对比
- [[MCP]]：Computer Use和MCP的对比