LLM在很多自然语言任务上都展现出来相当高的能力，使得目前不少研发人员想到，能否用LLM为其他的机器学习任务产生标注（Label）数据。众所周知，产生标注数据是机器学习中及其耗费人工的一个环节，并且往往是整个系统的瓶颈。那么如果LLM能够自动产生大量廉价的标注，势必可以提升很多系统的整体效能。

来自Google Research的Harrie Oosterhuis、Rolf Jagerman、Zhen Qin、Xuanhui Wang和Michael Bendersky在KDD 2024上发表了题为“Reliable Confidence Intervals for Information Retrieval Evaluation Using Generative A.I.”（http://t.cn/A6E0NNFT）的论文，详细探讨了LLM产生的标注数据的可靠性问题。说到可靠性，一种获得数字性可靠性的估计，就是对某个估计值计算其“置信区间”（Confidence Intervals）。

文章中提出了两个新的计算置信区间的方法，一个是基于Prediction-Powered Inference (PPI），另一个是基于Conformal Risk Control。两个方法各有优缺点。在实验数据集上，作者们发现，有时候只需要少至30个真实标注标签，这两个方法都能提供不错的置信区间的估计。同时，作者们发现，两种方法都相对不太容易受到LLM自身的干扰。当然，如果LLM自身提供的标注更加准确是肯定有利于提高最后的估计精度的。最后，作者们发现Conformal Risk Control方法可以提供基于Query级别的估计，可能可以提供更多的信息。

随着LLM在标注数据中的更加广泛应用，关于如何有效利用这些标注的研究也相信会越来越多。