🖱️ 小模型也能学会“用电脑”!Smol2Operator 让轻量级视觉语言模型进化为可操作 GUI 的智能体 🚀
这项工作把 SmolVLM2-2.2B-Instruct 从“无落地感”的 VLM,训练成会看懂界面并执行点击/输入/拖拽等操作的 GUI 代理,完整开放训练配方、数据工具、模型与数据集,可一键复现 🫡
亮点速读:
统一动作空间:跨数据集的点击、滚动、输入等动作统一为标准函数签名,坐标归一化到 0–1,跨分辨率更稳、更通用。
两阶段训练:Phase 1 学“看与定位”,Screenspot-v2 从 0%→41%🔼;Phase 2 学“思考与规划”,进一步到 61%+,显式推理让操作更稳。
小而强:方案可缩放到 4.6 亿参数级,仍取得领先的屏幕元素定位表现。
全链路开源:函数解析与动作转换、Action Space Converter、两阶段 SFT 配方、模型与数据集全部开放,便于复现与二开。
🤗 欢迎加入我们的中文社区:Chinese LLMs on Hugging Face,一起把 GUI 智能体做得更实用、更好用!
#Hugging Face##AI智能体##计算机使用代理#
发布于 美国
