DPO

SuperCorrect 论文阅读：两阶段微调，借助大模型的层次化思维模板与跨模型协作 DPO，提升小模型的数学推理与自我纠错能力。