今天刷x刷到，文心5.1在Search Arena上冲到全球第4，见图1-3。
仔细一看，是style-control off情况，
不过style-control on整体排名下降，但国内仍然是第一。
PS： style-control off是原始投票分数，会因为格式、长度、排版拿到高分红利，on会进行校准，剔除这些因素。

这次算找准角度了，search深耕这么多年，带search就应该更好，历史积累了那么多意图、复杂需求query。

不过看了文心5.1的blog，最有意思的还是预训练成本打到6%。
http://t.cn/AXJFhXG5

其核心还是用了之前的Once-For-All 弹性训练，见图4-5，在文心5.0技术报告中就有重点说明。
通过弹性深度、弹性宽度、弹性稀疏度，让模型本身在预训练阶段就适应参数变少情况，
其中，
弹性深度，让某些层"可有可无"，在训练过程，25%概率跳过一些Transformer 层数
弹性宽度，让 MoE 里的专家"可多可少"，20%概率选择部分路由专家作为专家池（随机采样）
弹性稀疏度，让每次"激活多少专家"可调，20%概率，topk在一个范围内随机选择，小于标准值

其实文心5.1模型，就是基于文心5.0衍生出来的，找到最优子结构，继承文心5.0原本的知识，可以通过少量训练资源衍生不同能力。

文心5.1整体榜单效果，见图6，在其他一些榜单上效果也还不错。
#how i ai##ai创造营#