Blogs 博客

 

verl Tutorial

Yuxuan Tong
 

[WIP] Importance Sampling Done Right with Off-Policy Data in Fully-Utilized LLM RL Systems

English 英文
Technical 技术

In the pursuit of maximizing hardware utilization for Large Language Model (LLM) Reinforcement Learning, systems introduces some new sampling strategies like Partial Rollout and Asynchornous Rollout. This introduces complex off-policy data structures, which we categorize into Sliding Latest Policy Trajectories (SLAPTs) and Multiple Consistent Stale Policy Trajectories (MCSPTs). This post discusses the properties of applying Importance Sampling (IS) to these distinct data forms, combining theoretical notations like Multiple Importance Sampling and Rényi divergence and practical observations like the (approximate) indentical distribution structure of SLAPTs of similar lengths.

Jan 7, 2026
Yuxuan Tong, Yingru Li, Guangming Sheng

verl: Flexible and Efficient RL for LLMs

Jun 30, 2025
Yuxuan Tong (童雨轩)
 

重新思考 RL 中的 KL 梯度优化

修正 GRPO 公式与流行 LLM RL 框架
Chinese 中文
Technical 技术

对于 LLM RL 中相对于参考策略的 KL 优化，GRPO 公式

  1. 没有处理 KL 项的 off-policy 问题，这可以通过在多轮更新时重新计算 KL 项并添加重要性采样系数解决
  2. 先将 KL 估计样本量应用于动作对数条件似然再求和，而非先求和得到概率再应用估计样本量，与 John Schulman “Approximating KL Divergence” 分析不符（对应导出的梯度也可能因此而错误）

目前流行的 LLM RL 框架（TRL，OpenRLHF，verl）也没有避免上述问题，且存在其他问题：

  1. 在计算 KL loss 项时默认不去除任何梯度，实际得到的梯度通常不是在优化 KL 散度
  2. KL loss 项的平均操作存在错误。

本文基于序列决策过程（而非 bandit）建模分析了上述问题，并提供了正确的 KL loss / reward 项实现的数学推导与上述问题的修正思路。

Mar 9, 2025
童雨轩
No matching items