DeepSeek和清华的研究者发现，在RM方法上采用点式生成式奖励建模（Pointwise Generative Reward Modeling, GRM），就能提升模型对不同输入类型的灵活适应能力，并具备推理阶段可扩展的潜力。 通过在线RL训练促进GRM生成具备可扩展奖励能力的行为，即能够自适应生成评判原则并准确生成点评内容，从而得到 DeepSeek-GRM模型 。