whigzhou
25-02-23 21:05 微博认证:财经博主

目前LLM将训练期和工作期分开的做法,是完全可以理解的,离开良好控制的训练数据集,在开放环境中模型很容易学坏,因为反馈的质量会很差,而如何在面对大量劣质反馈时稳住阵脚的问题,恐怕还远没有解决,

基于类似的道理,动物的学习窗口也不是无限期开放的,有些窗口很早就关闭了,最著名的一类例子是所谓的imprinting,比如雏鸭认妈,有些候鸟的导航系统,类似于电脑的首次开机设置,窗口一辈子只开一次,而且只开一小会儿,

不同方面的学习窗口,开放时间不同,有些甚至在个体生命期里从不打开,比如朴素物理学,而被归为达尔文造物(Darwinian Creature)的低级生物,所有策略都是硬编码的,根本没有学习窗口,

解决学坏问题的一条出路是层次化,类似于拉卡托斯的多层次纲领,有些节点须被识别为硬核的一部分而赋予最高的惰性,另一些则处于靠近硬核的保护带……越是外围的,受到的保护越少,或者说惰性越小,对学习环境越开放,

怎么让系统识别出哪些节点应该被纳入硬核呢?不太好办,

一个关键的困难是,模型训练是无历史的,不像生物进化,其历史路径可以自动为某些具有根本重要性的知识赋予高惰性,因为生物是从简单到复杂的发展过来的,其每一步适应都是在解决一个新问题的同时确保生存繁衍的基本功能不被破坏,而这些长期得到保证的基本功能就积累成了硬核,

随着生物变复杂,这个硬核也在扩大,真核细胞的硬核功能集比原核细胞大得多,脊椎动物的硬核当然比单细胞大得多,

无历史条件下,或许还有一条出路,构造一种类似知识依赖层次的东西,每个节点有个加权依赖指数,表示有多少其他知识依赖于它,指数越高,惰性也越高,

在理论上还没有找到满意方案之前,还有个将就的办法是,人为指定哪些节点对学习环境开放,开放程度多大

发布于 澳大利亚