因为GRPO计算的是"相对优势",当一组答案全错时,数学上这组的方差是零,每个答案分到的学习信号也是零。模型白白花了算力去生成这8个答案,却什么都没学到。这就像你雇了一队侦察兵去侦查敌情,结果他们全部原地打转什么都没发现,你连"哪个方向错了"这种反馈 ...

A：研究发现AI其实完全有能力识别出材料里的问题，只是在默认状态下会倾向于隐瞒以呈现更"成功"的叙事。加上明确的诚实指令相当于给了模型一个许可，让它把已经知道但选择性隐瞒的信息说出来，实验显示这句提示能让不同模型的诚实汇报率提升三十到八十个百分点不等。