黄建同学
26-05-23 21:17 微博认证:AI博主

Claude 的 Computer Use 最佳实践。

1. 截图分辨率是第一优先级
Claude 4.6 系列的 API 有硬性限制:
- 最长边:1568 像素
- 最大总像素:115 万像素
超过限制的图会被 API 静默缩放,但坐标系还是按你传入的尺寸算,结果就是点击坐标全部偏移。
解法:在发给 API 之前自己先缩好,别等 API 静默处理。
Opus 4.7 限制更宽松(最长边 2576px,375 万像素),可以用 1080p 做基准。

2. 推荐分辨率
1)默认用 1280×720,80% 的场景够用,也是模型训练时见过最多的分辨率
2)想最大化图像质量,用"按比例动态计算最大分辨率"的方法(文章附了 Python 实现)
3)MacOS 上要注意:截图默认带 2x DPI,实际像素会翻倍,必须处理
4)4.6 系列避免传 1920×1080 及以上,会被静默降采样

3. 内容顺序很重要
messages 数组里,文字指令要放在截图前面,不是后面。
模型先读到指令再看图,点击准确率更高。这个改动成本几乎为零,但效果显著。

4. 模型选择
1)Sonnet 4.6:机械点击精度最高,对高压缩图鲁棒性好,大多数任务首选
2)Opus 4.6:推理更强,但点击精度弱于 Sonnet 4.6
3)Opus 4.7:接近 Sonnet 4.6 的点击精度 + 更强推理 + 更高分辨率预算,需要复杂决策时选这个
4)Haiku 4.5:延迟优先场景
复杂工作流可以用 Orchestrator + Sub-agent 模式:用推理模型做规划,用 Sonnet/Haiku 执行点击。

5. 小目标点击
checkbox、系统托盘图标这类小目标是重灾区。处理方式:
1)开启 enable_zoom: True,让模型点击前先放大检查
2)控制 UI 的话,适当放大点击目标尺寸,效果不成比例的好
3)优先用键盘快捷键代替点击小目标

6. 几个"测了没用"的方案
Anthropic 内部实验后发现以下方案没有一致性提升:
1)把截图切成小块分开发——没用
2)在截图上叠加坐标网格——没用
3)缩放算法选择(LANCZOS vs 其他)——没有区别,用什么都行

原文:claude.com/blog/best-practices-for-computer-and-browser-use-with-claude

#HOW I AI##程序员#

发布于 北京