nanobot-rl
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
本文讨论了一种简化版的GRPO算法，结合REINFORCE特性，专注于GSM8K问题的强化学习。该方法不依赖于价值网络、KL正则化或PPO剪切，而是通过规则奖励进行优化。数据流包括生成回答、计算均值基线和优势，目标是最大化期望回报。整体设计旨在降低显存占用，但可能导致更大的梯度方差。
🎯
关键要点
- 使用简化版的GRPO算法，结合REINFORCE特性，专注于GSM8K问题的强化学习。
- 该方法不依赖于价值网络、KL正则化或PPO剪切，而是通过规则奖励进行优化。
- 数据流包括生成回答、计算均值基线和优势，目标是最大化期望回报。
- 整体设计旨在降低显存占用，但可能导致更大的梯度方差。
- 奖励函数基于答案的对错，未使用单独的格式奖励或训练奖励模型。
- 优化目标为loss = - (logp * (r - mean)).sum_normalized，未使用KL、标准归一化或PPO剪切。
- 分组采样体现GRPO风味，但优势计算只减均值，不做标准化，且为on-policy方法。
❓
延伸问答
简化版GRPO算法的主要特点是什么？
简化版GRPO算法结合了REINFORCE特性，不依赖于价值网络、KL正则化或PPO剪切，通过规则奖励进行优化。
该算法如何处理GSM8K问题？
该算法通过生成多个回答并计算规则奖励来处理GSM8K问题，目标是最大化期望回报。
优化目标的具体公式是什么？
优化目标为loss = - (logp * (r - mean)).sum_normalized，未使用KL、标准归一化或PPO剪切。
该算法在显存占用方面有什么优势？
整体设计旨在降低显存占用，但可能导致更大的梯度方差。
奖励函数是如何设计的？
奖励函数基于答案的对错，使用规则奖励，没有单独的格式奖励或训练奖励模型。
该算法的优势计算方式是什么？
优势计算只减均值，不做标准化，且为on-policy方法。
➡️
