Accuracy 使用示例
1、获取分析报告
dump了某模型训练和推理的数据，接下来用msAgent进行分析。
进入精度分析界面，对于“RL训推不一致分析场景”，
人：输入示例提示词“请基于输入的训练和推理dump数据，分析训推的差异来源，给出可能原因。
Agent：提示给出dump数据文件路径。
人：输入训练和推理的“xxx/dump.json”。
Agent：分析，给出分析对比文档和报告。
人：查看分析文件**【层名映射文件】，结果有问题，一个也没对应上**，如下图所示
人：给Agent增加construct和stack文件，更新分析结果和文件
Agent：更新结果。
人：查看分析文件【层名映射文件】，这下看着没什么问题了。
2、查看分析报告中的分析逻辑和依据
2.1 Agent分析报告内容(部分)
数值验证
使用正确输出索引(output.1)对比结果:
Layer |
训练端 Norm |
推理端 output.1 |
差异 |
状态 |
|---|---|---|---|---|
1 |
79.00 |
63.25 |
19.93% |
✗ 异常 |
5 |
1723.28 |
1696.00 |
1.58% |
⚠ 微小 |
10 |
1725.05 |
1728.00 |
0.17% |
✓ 对齐 |
15 |
1728.08 |
1728.00 |
0.00% |
✓ 对齐 |
20 |
1767.31 |
1760.00 |
0.41% |
✓ 对齐 |
23 |
538.36 |
684.00 |
27.05% |
✗ 异常 |
首尾层异常分析
Layer 0: 推理端 output.0=55.0 接近训练端 55.09，但 output.1=5.12 异常低
Layer 23: 推理端 output.1=684 与训练端 538.36 差异 27%
2.2 人工检查
从数值验证看，Layer 1、23有较大问题。
使用msprobe的分级可视化工具进行人工查看后发现
1、Layer1、Layer23如果打开来看子模块，则结果能对上；
2、训练的Layer层父模块的output和子模块最后一层（Qwen2MLP）的output不是相同值，而推理的是相同值。
故人工复核的结论是：训推结果基本一致。
3、进一步研讨，搞清楚原理，和Agent结果对齐
将上述的人工复核结论反馈给Agent，进行进一步研讨，搞清楚现象的原因
人：输入“训练侧的父模块Module._fsdp_wrapped_module.model.layers.23._fsdp_wrapped_module.Qwen2DecoderLayer.forward.0和父模块中最后一个子模块Module._fsdp_wrapped_module.model.layers.23._fsdp_wrapped_module.mlp.Qwen2MLP.forward.0的输出不一致，而推理侧Module.model.layers.23.Qwen2DecoderLayer.forward.0和Module.model.layers.23.mlp.Qwen2MLP.forward.0的output是一致的，这个是为什么？实际上训练侧和推理侧的Layer23的子模块的output是一致的”
Agent：
这是一个关于 模块层级输出关系 的重要问题。让我解释可能的原因：
关键理解：DecoderLayer 的输出 ≠ MLP 的输出
Qwen2DecoderLayer 的典型结构：
def forward(self, hidden_states, ...):
# Self Attention block
residual = hidden_states
hidden_states = self.input_layernorm(hidden_states)
hidden_states = self.self_attn(hidden_states, ...)
hidden_states = residual + hidden_states # residual connection
# MLP block
residual = hidden_states
hidden_states = self.post_attention_layernorm(hidden_states)
hidden_states = self.mlp(hidden_states)
hidden_states = residual + hidden_states # 关键！residual connection
return hidden_states # DecoderLayer 的输出
核心点：
• DecoderLayer.output = residual + mlp.output（经过 residual connection）
• 不是直接等于 mlp.output
训练侧的Layer是单输入单输出（直接输出hidden_states），而推理侧的为多输入多输出。具体的，推理侧的input0是位置编码，input1和input2是上一层的residual和mlp.output，输出则是residual和mlp.output。 这就解释了：
1、训推子模块能对上，因为都是mlp.output；
2、训推父模块对不上，因为一个是单输出residual + mlp.output，一个是双输出residual，mlp.output。
人：把上述结论反馈给Agent
Agent：
好，这下对齐了。
4、总结
1、在这个案例中，Qwen2模型的训推实现有明显区别（子模块、算子存在融合），但整体模块结构可以大致对上，在提供construct信息后，Agent可以大致对齐层。
2、但训推的层的输入输出数量、走向也存在明显区别，此时Agent做了基本情况的遍历验证，但对于特殊情况应对不足（Layer1/23的输出方式），在进行人工引导后Agent判断正确。