概率与统计怪异的悖论

统计和概率有时可能会导致思维弯曲的结果。

统计数据是了解我们周围世界格局的有用工具。但是当我们解释这些模式时，我们的直觉常常使我们失望。在本系列文章中，我们将研究一些常见的错误，以及在考虑统计数据，概率和风险时如何避免这些错误。

您不必等很久就能看到标题宣称某些食物或行为与增加或减少的健康风险或经常与这两者相关的标题。看似严格的科学研究怎么可能得出相反的结论？

如今，研究人员可以访问大量可以轻松分析数据并输出复杂统计测试结果的软件包。尽管这些是强大的资源，但它们也为人们打开了大门，他们没有充分的统计知识就可以误解数据集中的某些细微之处，并得出错误的结论。

这是一些常见的统计谬论和悖论，以及它们如何导致结果违反直觉，并且在许多情况下完全是错误的。

辛普森的悖论

它是什么？

当合并这些组的数据时，这些组中出现的趋势就消失了。当发生这种情况时，总体趋势甚至可能看起来与每个组中的趋势相反。

这种悖论的一个例子是，对所有患者组而言，治疗都是有害的，但一旦将这些组合并在一起，总体上就会显示出有益的效果。

它是如何发生的？

当组的大小不均匀时，可能会发生这种情况。粗心（或不道德）选择患者人数的试验可能会得出结论，有害治疗似乎是有益的。

例子

考虑以下对拟议药物的双盲试验。一组120名患者（分为10、20、30和60个大小的亚组）接受治疗，而120名患者（分为60、30、20和10个相应的大小的亚组）不接受治疗。

总体结果使该疗法看起来对患者有益，接受该疗法的患者的康复率要高于未接受该疗法的患者。

但是，当您深入研究组成该队列的各个组时，您会发现在所有组的患者中，未经治疗的患者的恢复率要高出50％。

但请注意，接受治疗的人与未接受治疗的人，每个组的大小和年龄分布都不同。这就是扭曲数字的原因。在这种情况下，治疗组与儿童成比例地堆叠在一起，无论有无治疗，其康复率通常都较高。

基本利率谬误

它是什么？

当我们在判断某事的可能性时忽略了重要信息时，就会发生这种谬论。

例如，如果我们听说有人喜欢音乐，那么我们可能会认为他们更有可能是专业音乐家，而不是会计师。但是，会计师比专业音乐家要多得多。在这里，我们忽略了会计师人数的基本比率远高于音乐家人数，因此我们不喜欢这个人喜欢音乐的信息。

它是如何发生的？

当一种选择的基本利率明显高于另一种选择时，就会发生基本利率谬误。

例子

考虑测试一种罕见的医疗状况，例如仅影响人口的4％（25分之一）的医疗状况。

假设有一个条件测试，但这并不完美。如果某人患有这种疾病，则测试将在大约92％的时间内正确地将他们识别为患病。如果某人没有这种状况，则测试将正确地将其识别为75％的时间是健康的。

因此，如果我们对一组人进行测试，然后发现其中超过四分之一被诊断为生病，我们可能会期望其中大多数人确实患有此病。但是我们会错的。

在300名患者的典型样本中，每11个人中正确识别出不适的人中，又有72人被错误识别为不适。

根据我们上面的数字，在4％的患者中，有将近92％的患者会被正确诊断为疾病（约占总人口的3.67％）。但是在96％的未患病患者中，有25％被错误地诊断为患病（占总人口的24％）。

这意味着在大约27.67％的被诊断为疾病的人口中，实际只有3.67％左右。因此，在被诊断为疾病的人中，实际上只有约13％（即3.67％/ 27.67％）的身体不适。

令人担忧的是，当一项著名的研究要求全科医生进行类似的计算以告知患者与乳房X线照片结果相关的正确风险时，只有15％的人正确地做到了。

威尔·罗杰斯的悖论

它是什么？

即使没有值实际增加，将某物从一组移动到另一组也会提高两组的平均值。

这个名字来自美国喜剧演员威尔·罗杰斯（Will Rogers），他开玩笑地说：“俄克拉荷马州离开俄克拉荷马州搬到加利福尼亚州后，他们就提高了这两个州的情报水平。”

新西兰前总理罗布·穆顿（Rob Muldoon）在1980年代开玩笑说，关于从他的国家移民到澳大利亚的地方变种。

它是如何发生的？

当一个数据点从一个组重新分类到另一个组时，如果该点低于它要离开的组的平均值，但高于它要加入的那个组的平均值，则这两个组的平均值都会增加。

例子

考虑六名患者的预期寿命（以年为单位）为40、50、60、70、80和90的情况。

预期寿命分别为40岁和50岁的患者被诊断出患有健康状况；其他四个没有。这样，在确诊的患者中平均寿命为45岁，在未确诊的患者中平均寿命为75岁。

如果开发出一种改进的诊断工具来检测预期寿命为60年的患者的病情，则两组的平均值将增加5年。

伯克森的悖论可以使两个独立变量之间似乎存在关联，而没有一个。

它是如何发生的？

当我们有两个独立变量的集合时，就会发生这种情况，这意味着它们应该完全不相关。但是，如果仅查看整个人口的一个子集，则看起来这两个变量之间存在负趋势。

当子集不是整个总体的无偏样本时，可能会发生这种情况。在医学统计中经常被引用。例如，如果患者仅在门诊就患有疾病A，疾病B或两者同时存在，那么即使这两种疾病是独立的，也可能会观察到它们之间存在负相关关系。

例子

考虑一所学校根据学术和体育能力招募学生的情况。假设这两个技能是完全相互独立的。也就是说，在整个人口中，优秀的运动员在学业上的能力与运动能力较弱的人一样。

如果学校只招收学业优秀，运动优异或两者兼而有之的学生，那么在这一群体中，运动能力似乎与学业能力呈负相关。

为了说明这一点，假设每位潜在学生在学术和体育能力上的排名都是从1到10。每个领域中，每种技能的人员比例均相等。知道一个人的某项技能并不能告诉您有关其可能的另一项技能的任何信息。

现在假设学校只接受至少一项技能在9或10级的学生。

如果看整个人口，最弱的运动员和最好的运动员的平均学历等级都相等（5.5）。

但是，在被录取的学生中，精英运动员的平均学术排名仍然是全体人口的平均学术排名（5.5），而最弱的运动员的平均学术排名是9.5，这错误地暗示了这两种能力之间的负相关性。

在这里，仅通过具有大量变量的数据集中的随机机会就可能发生意外趋势。

它是如何发生的？

在查看许多变量并挖掘趋势时，很容易忽略您正在测试的可能趋势。例如，有1000个变量，几乎有半百万（1,000999 / ×2）潜在变量对可能仅通过纯机会而显得相关。

尽管每对极不可能看起来是依赖的，但有可能从五百万对中，有相当一部分看起来是依赖的。

例子

生日悖论是多重比较谬误的经典例子。

在一个由23个人组成的小组中（假设他们的每个生日都是一年中独立选择的一天，所有日子都相同），因此，至少有两个小组有相同的生日是很有可能的。

人们常常不相信这一点，回想起他们很少见到有共同生日的人。如果只选择两个人，那么他们共同过生日的机会就很低（365个中大约有1个，小于0.3％）。

但是，有23个人，有×253（2322/2）对可能有共同生日的人。因此，通过查看整个群体，您正在测试以查看这253个配对中的任何一个是否确实匹配，而每个配对分别具有0.3％的重合机会。一对的许多可能性实际上使统计上很可能发生巧合。

对于一个只有40人的团体来说，有一个共同的生日的可能性几乎是没有生日的九倍。

随着组中人数的增加，没有共同生日的可能性下降。

由悉尼科技大学数学高级讲师Stephen Woodcock撰写。

最初发表在《对话》上。