研究发现，少量来自未知分布的样本可以提高任务的泛化性能，但随着样本数量的增加，泛化误差会下降。实验证明了这一现象。当知道哪些样本是未知分布时，可以利用适当加权的目标函数来利用这些非单调趋势，但其实际效用有限。当不知道哪些样本是未知分布时，常用策略无法保证目标泛化误差不会下降。