文章解析大模型偏好对齐算法 DPO 与 GRPO 的演进

2026 年 11 月 13 日 08:39，掘金发布《大模型偏好对齐算法 DPO 与 GRPO 的简化与进化解析》，对大模型偏好对齐方法的演进做了梳理。文章将演进脉络概括为从 RLHF 走向 DPO 和 GRPO：在 RLHF 这一较早的流程中，需要先训练一个 Reward Model 来模拟人类的偏好打分，随后再使用 PPO（Proximal Policy Optimization，近端策略优化）算法推进训练。

在此基础上，文章解析了 DPO 对传统奖励模型训练所做的简化，以及 GRPO 在强化学习阶段采取的优化思路，并称该文面向开发者，有助于理解对齐算法的核心机制。目前，关于这一主题仅有这篇报道，公开材料中没有后续进展，事件停于该文发布这一节点。