对于同一个模型，我们做多次蒙特卡洛实验得到的结果不尽相同。即使做了平均，很多时候我们第一次做实验得到的平均loss和第二次做实验得到的平均loss也有差别。比如对于模型1，我们第一次实验得到的平均loss是0.005，第二次实验得到的平均loss是0.003。

此时我们对模型进行了改进，得到了一个模型2，我们对这个模型2做了两次平均，第一次得到的平均loss是0.004，第二次得到的平均loss是0.002。那么这两个模型哪一个效果更好呢？

对此我认为，这两个模型的效果几乎一样。

有的人可能会说，那模型1这两次的平均loss再取平均=0.004肯定比模型2的平均loss0.003大，那这不就是说明模型2的效果更好吗？但其实这种说法忽略了随机因素的影响。多做几次实验，有可能会发现模型1的平均loss又小于0.003，因为你无法保证对模型1的前两次实验就一定反映了模型的真实平均水平，我们做的平均只是对它的有偏估计。

对此，我在实验中使用的一个简单的评判方法就是：判断两个模型的loss是否在同一个数量级。比如模型1的平均loss是0.004，那如果模型2与模型1的loss差距在**±0.005**以内，我就认为这两个模型的平均表现是一致的。

我们模型1第一次实验的平均loss为0.005，而模型2第一次实验的平均loss为0.004，很明显这两个loss在同一数量级，因此这两个模型的表现几乎是一致的。从loss的角度看没有谁好谁坏之分。

---

← Back to blog