美术说想在 Substance Painter 内嵌一个 AI 生图网站,一键互导图片。我一看好嘛,网页前端算我老本行了,给你嵌个 WebView 再 JS 注入一下就完事了。
Substance Painter 的 API 稀烂,Opus 4.6 发现读文档不成直接开始读 PySide 源码,给出了一个非常 Hack 的注入菜单的方法,跟外挂似的,但总之奏效了。我又把本地文档扔给它读,把 SP 导出图片做好了。
接下来把图片塞进网页,我让 Sonnet 4.6 自己给自己配了 Chrome MCP,帮它登录了网页账号,后面就安排让它自己分析前端的注入点。AI 可以通过 MCP 模拟用户点击按钮、截屏查看 UI 变化、打 log 分析、检查注入是否成功。
我本来还想盯着,怕它给我弄出什么岔子,结果就是抱着手坐在电脑前,跟看视频一样看 Agent 自己在操控浏览器。就像是坐着一辆没有方向盘的车跑在高速公路上,窗外风景秀丽,过于邪门但又跑得极其顺畅。
我去打了个水,上了个厕所,跟同事聊了会儿天,回来 AI 告诉我已经写完了。
从头到尾我的贡献只有:我知道网页前端注入是可行的。知道什么能做,知道什么不能做。当然这点知识,你跟 Gemini 3.1 聊你的需求,它也会告诉你的。
我所设想的 AI 编码完全体,会写、会看、会用,对应着 AI 的技术能力、多模态能力、Agent 能力,这些能力到位后,就足以完成自我迭代的闭环,自己写的东西自己测,无需人工介入。目前看起来,至少在基于浏览器的框架内已经差不多完善了。
等 AI 能自己打开你电脑上的 Substance Painter,点击 UI 菜单,测试自己写的工具的时候,这种工具、跑测类的外包杂活大可直接全面转交 AI 了。
就差临门一脚了。建议 GUI Agent 尽快普及。要完蛋大家一起完蛋罢。
发布于 浙江
