物界前沿上周三，组会上研二的小张向我展示他新调的对话模型。他花了三周时间收集一万条偏好数据，用PPO训了两轮，结果在开放域生成上还不如基线。他抱怨说，后训练的每一个环节
这条消息之所以值得深挖，在于它触碰了一个核心问题：后训练阶段能否实现自动化？如果GPT-5.6 Sol真的能“化身研究员”，那么它本质上是在做meta-learning——用自己的能力去优化另一个模型的训练过程。这让我想起去年Meta发表的《Self-Rewarding Language Models》（2023），其中LLaMA 2通过自我生成奖励信号来迭代改进，但那个工作仍然依赖人工设计的评估模板。而OpenAI这次似乎把整个训练循环都交给了模型本身——从数据生成、奖励建模到策略更新。
对比的基线：GPT-5.5 vs GPT-5.6 Sol
从公开信息看，这个实验的设计并非简单比较两个模型的生成质量。新闻中提到的“聚合RSI指数”是一个不明晰的指标。按照经验，RSI在NLP语境中可能指“Reward Self-Instruct”或“Reflection Score Index”，但即便是OpenAI内部的技术报告，RSI的定义也尚未公开。这本身就是学术诚信上的隐患——没有公开指标的计算方式，16.2%的提升无法被第三方复现。
我推测他们对标的baseline是GPT-5.5采用的标准后训练pipeline：即先预训练，再用人类反馈（RLHF）调优。而GPT-5.6 Sol的方案则是让模型自己扮演“研究者”角色，执行以下步骤：
- 自动设计后训练任务（比如生成指令-响应对）
- 自动评估奖励（无需人类标注）
- 自动调整学习率、采样温度等超参数
这种对比设计有一个明显的数据集偏差问题：GPT-5.6 Sol本身更强大，它执行后训练任务的能力可能覆盖了自身训练数据的分布。换句话说，它只在自己擅长的子空间内做优化，而GPT-5.5的人类训练数据则覆盖了更广泛的边缘案例。这样的对比好比让一个熟读题库的学生去参加自己出的考试——分数高不代表真正进步。
实验方法论的审视
从学术角度看，这个实验有几个关键的设计缺陷需要讨论。
第一，评估维度单一。宏观指标如BLEU、ROUGE甚至RSI都无法捕捉事实性、安全性和鲁棒性。去年斯坦福的《Evaluating Self-Taught Models》（2023）就指出，自我训练模型在分布外样本上往往退化。如果Luna模型只在Sol生成的数据上优化，它可能学会过度拟合Sol的评价标准，而非真正理解用户意图。
第二，缺乏消融实验。16.2%的提升是来自“自主训练”这种范式本身，还是因为GPT-5.6 Sol比GPT-5.5更强，导致奖励信号更精准？要回答这个问题，需要设计对照组：让GPT-5.6 Sol用标准RLHF再训一个Luna模型，比较两者差异。但新闻中没有提及这样的实验。
第三，可重复性风险。假如我们让不同初始化的Sol模型去训练同一个Luna，得到的Luna版本是否一致？如果存在高方差，那么这个pipeline的实际部署效果将高度依赖运气。另据我发现服务器配置
更值得关注的是自主训练的潜在灾难性遗忘。假设Sol在训练Luna时反复强调某个特定回答风格（比如简短、指令遵循），那么Luna可能会丧失长文本推理能力。这让我联想起2024年DeepMind的工作《Self-Improvement without Reward Model》，他们发现自我迭代模型在第五轮后开始出现知识覆盖度下降。OpenAI是否有类似的早期预警机制？新闻中没有任何描述。
开放性问题：谁为“自我研究员”负责？
假设GPT-5.6 Sol的方案真的成为范式，我们可能面临一个悖论：模型在训练过程中产生了大量隐含的偏见和偏好，而这些偏好并非来自人类设计，而是模型自己涌现的。当用户指出Luna模型存在种族或性别歧视输出时，是应该归因于Sol的“研究决策”，还是OpenAI的算法工程师？这种责任链的断裂，比RLHF中的人类标注误差更难审计。
最后，我想问在座的同行：如果一个模型能够在后训练中自主决定“教什么、怎么教”，那么它所构建的世界观是否必然收敛于一个单一目标函数的最优解？而这种收敛性，离我们想要的多样化、公平的AI还有多远？