关注 LLM 操作现有软件的 UI 界面的，除了Rabbit 之外还有Adept，他们致力于一个机器学习模型，可以与计算机上的所有内容进行交互。#AI##LLM#

昨晚他们发布了一个专门为了识别 UI 界面内容的多模态模型 Adept Fuyu-Heavy，从演示来看非常强，可以准确识别复杂 B 端 UI 界面的信息并加工。

这款模型在全球多功能智能模型中排名第三，仅次于规模比它大10到20倍的 GPT4-V 和 Gemini Ultra。

Fuyu-Heavy 特别擅长于处理和理解不同类型的数据（如图像和文本），其中最引人注目的是它对用户界面的高效理解。

即便要处理图像数据，这款模型在常规的文本处理测试中也能媲美或超越同等级别的其他模型，例如在著名的 MMMU 测试中，它的表现甚至超过了 Gemini Pro。

虽然 Fuyu-Heavy 是一个相对较小的模型，需要一部分能力来处理图像，但在最常用的聊天评估工具 MT-Bench 和 AlpacaEval 1.0 中，它的表现与 Claude 2.0 相当。

项目介绍：http://t.cn/A6jiuxcJ http://t.cn/A6jiuibh