agentzh
26-06-08 04:24 微博认证:OpenResty Inc 创始人

AI 编程的确定性管理的最终两个兜底的:要么是人类自己确实理解,可以兜底;要么是可以通过数学形式化证明工具自动验证(当然,这个本身也有局限)。

传统的测试集之类的只能一阶近似,没法真正兜底,只能作为辅助。所以经常看到有的程序员去较真 TDD 之类的,真没必要。本身就是一阶近似,所以应该从实用主义的原则出发,只要能起到效果就可以了。需要较真的是人类对生成的东西的理解,以及数学形式化证明是否真的足够严谨和正确。因为只有这两块才是真正能兜底的。不然连测试用例本身写错了,你都看不出来……

另外,AI agent 的构建软件和编码的过程,人类也应该盯紧一些。不然中间一些关键节点上如果 AI 误入歧途,那只会浪费时间和 token。而且到很后面时也很难发现和解决了。现在的 AI 很擅长在错误的道路上一路狂奔。

让 AI 来 review 和监督 AI 也只能作为辅助,因为存在把对的设计改坏了的风险。

程序的正确性和性能变化一般通过运行测试是可以立即反馈的,而程序的设计决定往往要很后来才会显现出严重后果。

所以人类最重要的是把关架构和设计上的重要决定(很多小的决定其实也很重要)。而且是全过程把关,因为很多设计决定无法预知。很多设计问题也是在实现和构建过程中逐渐显现出来的。所以 AI 时代确实更需要好的架构和设计,更需要软件工程。

AI 就像一匹野马,人类专家需要好好驯服。不然就是 AI 反过来倒拖着人类奔向悬崖了。[哈哈]

发布于 美国