提出推理时偏好优化（TPO）方法，通过在推理过程中与奖励模型交互，将奖励模型信号转化为”文本损失”和”文本梯度”，以此迭代优化模型输出。 随着大语⾔模型（LLMs）在各类任务中展现出令人瞩目的能力，如何确保它们⽣成的回复既符合预期又安全 ...