训练Agent模型比训练语言模型难得多,因为Agent是干活的。能干活,意味着模型不仅能像语言模型那样能读、能写,还需要能听、能看、能操作软件。
模型要想有这些能力,就得去实践,去训练。但这比读文本难得多。一方面直接让模型去用给人设计的网页、软件,很容易卡顿、崩溃。另一方面,用这种真实环境,获得的反馈也太慢,训练数据很难收集。
Qwen前几天发表的论文,用了个字面意义的“降维打击”方法:不让模型接触真实环境,我直接用文本造一个虚拟环境(Qwen-AgentWorld)。
他们把复杂的软件界面,降维成模型最熟悉的文字描述。比如移动鼠标,点击“提交”按钮,软件弹出输入框提示你没输入姓名。在文本环境里怎么表达这种操作?不用录屏,一行字就行: `Button "提交" (Enabled: true) InputField "请输入姓名" (Text: "")`。
这种文本不仅简洁,而且获取起来非常高效。Qwen用这种方法,在浏览网页、操作手机、系统三类任务上快速获取了大量训练数据。
数据够了,模型自然学得好。用Qwen-AgentWorld训练出来的模型,Agent能力非常强悍,比用真实世界数据训练出来的模型还厉害。
#agent/tool_use #aiengineer/train/data
发布于 江苏
