田春冰河
26-03-17 20:10

[2/3] 过去几天里我着实试用了一下大模型(仅限于 ollama 命令行)。我之前的 2+2 实验是模型没选好以及任务安排错误,因此产生了错误的结论。后来经网友指点,我试了几个不同的大模型之后发现表现最好的还是阿里千问的 qwen3.5。我的 M4 Mac mini 能流畅地跑 9b 版本;最多可以跑 27b 版本(大约每秒 3-5 个 token 的输出效率,注意电脑工作在省电模式下,占用 20GB 内存,GPU 占用 97%)。我主要让它做翻译和识别图片里的内容和文字(具体就不说了),虽然它的输出每次都不太一样但我觉得在总结图片内容这一点上比我做得好——每句话都有根据,绝不是满嘴喷粪,我还跟它学到了点儿以前不知道的新知识…… 软件能干这些事情是挺神奇的。

发布于 辽宁