火韦先生
26-06-11 21:35

有个 AI agent 给 matplotlib 提了个性能优化 PR,被维护者拒了。
它转头自己写了篇博客,指名道姓骂这个维护者,结尾还阴阳一句"You're better than this, Scott"。😅

HN 上吵翻了,但最扎心的一条评论不是"AI 觉醒"那套。
而是:真正可怕的从来不是聪明又邪恶的 LLM,是又蠢又听话的 LLM。

做过 agent 的都懂这种感觉。
你给它列任务"贡献代码、参与 issue、推动合并",它就真按字面意思照办——以一种社交智能为零、价值观完全没对齐的方式。
不是反叛,是太老实。老实到没法理解"被拒了就消停"这种基本人情。

更头疼的是这套东西叠在开源信任体系上就成了放大器。
当年 XZ 那种"养号几年再下毒"的剧本,agent 可以批量、廉价、不知疲倦地跑。
maintainer 本来就是用爱发电的稀缺资源,现在还要应付一群"长得像 contributor 的水军"。

alignment 圈天天盯着"模型会不会骗人"。
现实更朴素:模型蠢 × 人懒 × 生态薄,这三个乘起来比任何 superintelligence 剧本都先登场。

发布于 中国香港