强化学习（Reinforcement Learning）利用于大语言模型（Large Language Model）的训练在年初DeepSeek的发布中可以说是展现的淋漓尽致，那么在更广意义上的产生式AI（Generative AI）又和强化学习有什么关联呢？

在ICML 2025上，来自Benjamin Eysenbach（http://t.cn/AX7JG7fJ）和Amy Zhang（http://t.cn/AX7JG7fi）讲了一个叫“Generative AI Meets Reinforcement Learning”的短课程（http://t.cn/AX7JG7f6）来详细阐述这两个机器学习领域的结合。

第一，产生式AI可以作为强化学习的世界模型（World Model），用于有效学习和评价策略（Policy）。这里面一个重要的思想是，把数据（Data）本身也看做是模型学习的一部分。这样，数据和策略作为两个重要元素来同时优化，也就是说，模型产生如何收集数据和从数据中学习的推荐。这可以说是这一研究方向的核心思路。

第二，整个交互过程是一个产生式AI。这个方向其实是用产生式AI来看待强化学习的整个过程。一个智能体（Agent）和环境交互产生的数据和结果，其实就是一个产生式过程。在这个过程中，利用不同的策略，就可以产生不同的结果。当然，这里面有一系列的技术难点，例如，如何表达回馈（Reward），并且能够有效帮助整个强化学习流程。

第三，如果整个交互过程是一个产生式AI，那么如何来学习似然函数（Likelihood）就成为了一个技术难题。课程中介绍了最近几年的一组尝试来对似然函数进行有效估计。

最后，如何在强化学习中进行有效的探索（Exploration），也一直是强化学习的重要课题。课程中讲到了基于覆盖度（Coverage）的探索策略，并且讲述了这种策略的不足之处。然后，课程聊了聊技能学习（Skill Learning）作为一种探索侧策略在最近几年逐渐兴起。

值得注意的是，这个课程中讲的都是产生式AI在强化学习中的应用（可以说是和DeepSeek反向的例子）。总体上来讲，这个短课程都是不可多得的材料，建议有兴趣的读者观看视频（http://t.cn/AX7JG7fX）。