研究团队首先做了一个很有趣的实验。他们发现，并不是所有的学习经验都同样有价值。就像学生做题一样，太简单的题目学不到什么新东西，太难的题目可能会让人更困惑，只有那些"刚好合适"的中等难度题目最有学习价值。具体来说，那些能做对一半左右的题目，往往是最好的学习材料。

更有趣的是，研究团队还发现了一个判断"好经验"的简单方法。在AI的世界里，有个叫做"熵值"的概念，简单理解就是AI回答时的"确定程度"。当AI很确定自己的答案时，熵值就低；当AI犹豫不决时，熵值就高。研究发现，那些熵值较低的回答往往质量更好，推理过程更靠谱。这就像学生做题时，那些答得很流畅、逻辑清晰的解答，通常比那些磕磕绊绊、反复修改的答案要好得多。

基于这些发现，研究团队设计了ExGRPO系统。这个系统的工作方式可以比作一个非常聪明的学习管家。当AI做题时，学习管家会仔细观察每道题的难度和AI的表现。对于那些做对了的中等难度题目，管家会把整个解题过程记录下来，存放在一个"经验库"里。这个经验库按照题目难度进行分类，就像把练习题按照难易程度分别装在不同的文件夹里。

当AI需要继续学习时，学习管家不会随机选择经验。它会优先从那些"黄金难度"的文件夹里挑选经验，而且还会特别选择那些当初回答得最流畅（熵值最低）的解答过程。这样，AI就能反复学习那些最有价值的解题思路。

全国服务热线：021-52966365 联系人：梁小姐

公司地址：上海市闵行区莘庄工业区申南路59号1号楼506室