[CL]《Diverse Preference Learning for Capabilities and Alignment》S Slocum, A Parker-Sartori, D Hadfield-Menell [MIT CSAIL] (2025)

近年来，随着大语言模型（LLMs）在社会中的影响力逐渐增强，其生成文本多样性的缺失成为亟待解决的问题。研究表明，主流对齐算法如RLHF（基于人类反馈的强化学习）和DPO（直接偏好优化）在提升模型表现的同时，严重压缩了输出的多样性，导致模型过度偏向多数意见，忽视少数观点，甚至在文本生成中表现为重复的结构和词汇。

这一“模式崩溃”现象，本质上源自于这些算法在偏好学习中采用的KL散度正则项，该正则项将模型输出概率分布过度拉向参考策略，使得模型倾向于放大主流偏好，牺牲了多样性和代表性。为此，麻省理工学院CSAIL团队提出了“软偏好学习”（Soft Preference Learning, SPL）方法，创新性地将传统KL正则项拆解为熵项和交叉熵项，允许独立调控输出的多样性和对参考模型的依赖程度。

理论上，SPL避免了RLHF和DPO中概率分布被高次幂放大的问题，实现了对社会中多样偏好更为公平的比例代表。这不仅促进了模型在语义和词汇层面的多样化输出，还提升了在复杂任务中多次采样的准确率。实验证明，采用SPL的模型在对话领域展现出更佳的多样性与质量平衡；在数学问题求解的“best-of-N”采样中，SPL有效提升了难题的解答成功率；在多项选择题校准上，SPL显著降低了模型的过度自信，提升了概率预测的可靠性。

更重要的是，SPL的全局温度调控机制优于传统的逐词温度调节，能在保持生成连贯性的同时，显著扩展输出空间，避免了高温度下文本质量的急剧下降；这种方法在政治观点多样化生成中也表现出良好的效果，既增加了不同立场的表达，又保持了文本的逻辑一致性。

这项研究提醒我们，模型对多样性的支持不仅是技术挑战，更是对社会公平与信息丰富性的责任。SPL为实现更具代表性和能力的语言模型提供了理论与实践上的范式革新。未来，可探索将语义层面更深的多样性度量融入偏好学习，进一步推动模型在多元价值观表达和复杂推理中的表现。

全文链接：arxiv.org/abs/2511.08594