内容提要
文章以对话形式讨论科研中的“指标”:指标是筛选数据的准则(如信噪比大于5)。因测量存在误差,数据常服从高斯分布,故取两个标准差可覆盖约95%的数据。指标须有理论或统计依据,不能先射箭再画靶。指标本质是资源与效率限制下兼顾公平的折中,但一旦变成目标,往往就不再是好指标。
延伸解读
指标不是随意筛选,而是有依据的准则
文章强调,指标用于筛选数据,但必须基于理论、统计或广泛实践,不能为了得到预设结论而随意剔除数据。例如信噪比大于5的筛选,需有统计依据说明其合理性。这提醒读者,在科研或数据分析中,任何筛选标准都应公开透明,并给出可验证的理由,否则容易滑向“先射箭再画靶”的伪科学。
高斯分布与两倍标准差:为何是95%?
文中解释,现实观测常服从高斯分布,约95%的数据落在均值正负两个标准差内。因此,以两倍标准差作为筛选界限,既能排除极端异常值,又能保留大多数有效数据。这并非绝对真理,而是一种统计惯例。读者应理解,选择95%还是其他比例,取决于具体问题和可接受的误差风险,并非固定不变。
指标是资源与效率限制下的公平折中
文章用门的高度设计类比:为兼顾大多数成年人和资源效率,门高设为平均身高加两倍标准差,而非为每个人定制。这说明指标本质是在有限资源下追求公平的折中方案。但折中意味着必然有少数人被排除,如姚明需弯腰。读者需意识到,任何指标都有其适用边界和代价,不能期望它完美覆盖所有个体。
当指标变成目标,它就不再是好指标
文章结尾点出,指标一旦成为追求的目标,往往就失去原本的筛选意义。例如,若科研人员为达标而刻意优化数据,指标便不再反映真实情况。这类似于古德哈特定律:当测量本身成为目标,它就不再是好的测量。读者应警惕,在科研、管理或评价中,避免将指标异化为目的,而应始终关注其背后的实质问题。
Q&A
科研中说的指标到底是什么?
指标是筛选数据的准则,用来剔除误差或干扰过大的数据,比如定义信噪比大于5的数据保留。
为什么筛选数据时常用两个标准差作为标准?
因为测量误差通常服从高斯分布,均值正负两个标准差内的数据约占95%,这样能保留大多数正常观测,排除极端值。
科研中设定指标需要遵循什么原则?
指标必须有理论支撑、经过大量测试或符合领域惯例,不能先有结论再反推筛选数据,即不能先射箭再画靶。
为什么不能为每个人定制不同的标准,而要采用统一的指标?
因为资源、能力和效率有限,无法照顾到每个人的特殊情况,比如家庭成员身高变化或办公楼无法为每个人修不同的门,所以需要统一标准来平衡公平与效率。
指标变成目标后为什么可能不再有效?
一旦指标变成追求的目标,人们可能会为了达标而扭曲行为,导致指标失去原本筛选数据、反映真实情况的作用。
门的高度设计如何体现指标的思想?
设计门高时,取成年人身高的平均值加两倍标准差,这样能覆盖约95%的人,排除像姚明这样的极端值,避免资源浪费。