Bonsai 27B,可以在手机上运行的多模态27b模型
详细介绍:prismml.com/news/bonsai-27b
基于 Qwen3.6 27B 做的量化,有两个版本,一个大小为 5.9 GB,一个为 3.9 GB。可通过 MLX 在 Apple 设备(Mac、iPhone、iPad)上原生运行,也可通过 CUDA 在 NVIDIA GPU 上运行。上下文 262K
根据他们自己测试,大的那个保留了 95% 的全精度基线,小的那个保留了 90%。还能用。
发布于 山东
