人们常说“用数据说谎”，我要说往往数据的分析是没问题的，但这些分析却是建立在夸大或不实的数据之上。下面便是几个常见的“错进错出”案例。
选择偏倚
《纽约客》资深影评人宝琳•凯尔（Pauline Kael）据称曾经在理查德•尼克松（Richard Nixon）当选美国总统后评论：“尼克松不可能赢了竞选，我认识的人里面没一个投了他。”
这句话很有可能是杜撰的，但却很好地说明了糟糕的样本（一群自由派朋友）会如何给更大的群体带来错误的偏见（全美国的投票结果）。而这也引出了我们应该问自己的问题：如何选择评估样本？如果要接受评估的群体的每一个成员没有均等的机会入选样本，那么最终得出的结论就将会有偏颇。
以爱荷华州的民意测验为例，这是美国总统竞选中的一项惯例，在总统大选年的8月，也就是正式投票的前一个月，共和党的候选人会来到爱荷华州的埃姆斯市（Ames）笼络选民，选民每个人支付30美元投上一票以参与表决。爱荷华州的民意测验结果并不能告诉我们共和党候选人的未来。（该调查的预测在过去5次大选中只说对了3次共和党提名候选人的结果。）为什么？因为支付30美元投票参与这项民意测验的爱荷华州共和党选民跟爱荷华州的其他共和党选民不同，而爱荷华州的共和党选民又跟美国其他地区的共和党选民不同。
“尼克松不可能赢了竞选，我认识的人里面没一个投了他。”这样的选择偏倚还有其他很多种形式。在机场做消费者问卷调查很可能造成偏倚，因为坐飞机的人大体上会比一般人更富裕；而在90号洲际公路上做同样的调查问卷结果又会偏向另一端。而两项调查都有可能出现的偏倚则是那些愿意在公共场合接受问卷调查的人不同于那些不愿意被打扰的人。如果你在公共场合问100个人做一份简短的调查，其中只有60人愿意，那么这60个人跟剩下40个看都不看你一眼就走开的人在某些地方有着显著的不同。
发表偏倚
正面的结果比负面的更有可能得到发表，而这可能会混淆我们最终所见到的结论。假设你刚刚做完了一次严谨的追踪调查，得出结论认为玩视频游戏不能预防结肠癌。在这项调查中，你花了20年的时间跟踪访问了作为代表性样本的10万个美国人；这些人当中，长时间玩视频游戏的跟不玩儿视频游戏的罹患结肠癌的几率基本一致。我们假设你的研究方法完美无缺。但哪家医学期刊会发表你的研究结论“大多数活动都不能预防结肠癌”呢？
答案是没有。原因有二：第一，没有有力的科学理由认为玩儿视频游戏对结肠癌有什么影响，因此你研究这个的意义不明；其次，也是更重要的一点，某件事情不能预防结肠癌不是什么有趣的发现。毕竟，大多数东西都不能预防结肠癌。否定的结论尤其不性感，不论是在医疗领域还是其他。
而两相抵消，就对我们看到的研究（或者说看不到的）产生了偏倚。假设你的研究生同学经过另一项追踪调查得出了不同的结论，她发现玩视频游戏的人确实罹患结肠癌的几率较小。现在就有意思多了！医学期刊要的就是这样的论文，大众媒体、博客写手，还有视频游戏的制作商（他们巴不得在自己产品的包装上标注玩游戏有益身体健康），都在寻找这样的内容。要不了多久，全美国的虎妈们就会纷纷夺过自己孩子手里的书本，转而逼迫他们玩游戏来“保护”下一代免于癌症困扰了。
当然，统计学里反复强调的一个论点是，异乎寻常的事情时而发生，这只是概率问题。如果你进行100次调查，其中有一次很可能会出现纯属无稽的结果——就像玩视频游戏和结肠癌患病率低之间的数据关联。而问题在于：99次发现玩游戏跟患结肠癌无关的研究都得不到发表，因为它们没有意思，而那一次发现两者有关联的研究却被印刷出来，迎来了众多关注。偏倚的源头并不在于研究本身，但传达给公众的信息却是偏颇的。而研读视频游戏和癌症关联的研究者只能发现一篇论文，而这篇论文表明的却是玩视频游戏能预防癌症。实际上，100项研究里有99项都找不出二者之间有任何关联。
回忆偏倚
记忆是件奇妙的东西——尽管不能总算作优质数据的来源。人类天生就有冲动将现状理解成过去发生的事情合乎逻辑的结果，也就是因果关系。问题出在当我们试图去解释某些当前特别好或者特别糟糕的结果时，记忆就会变得“系统性的不堪一击”。例如一项研究饮食和癌症之间的关系的研究。1993年，一名哈佛大学的研究者构建了一组罹患乳腺癌的妇女和没有被诊断出癌症的年龄匹配组女性的数据。研究人员分别询问了这两组女性的早年饮食习惯。研究得出了清晰的结论：患有乳腺癌的妇女在年轻时有更显著的可能拥有高脂肪的饮食。
哈，不过，这实际上不是在研究饮食习惯对罹患癌症几率有什么影响。这项研究真正调查的是患上癌症如何影响了女性对自己早年饮食习惯的记忆。所有参与这项研究的女性都在多年以前，在任何人都没有被诊断患有癌症的时候，填写了关于其饮食习惯的调查问卷。研究的结果十分惊人，患有乳腺癌的妇女回想自己过去饮食摄入的脂肪的含量比她们实际消耗的要多得多；没有患癌症的女性则没有出现这种情况。
《纽约时报杂志》在描述这种记忆偏倚的隐秘本质时称：
“罹患乳腺癌不仅改变了一位女性的当下和未来；它连她的过去也改变了。患有乳腺癌的女性（无意识地）认为高脂饮食可能是她们患病的易感原因，并且（无意识地）认为自己过去有高脂的饮食习惯。对于任何了解这种耻辱病的历史的人而言，这一模式都熟悉得令人悲伤：和她们之前成千上万的女性一样，这些女性在她们自己的记忆里寻找原因，并将这个原因放置在记忆里。”
回忆偏倚是也是追踪研究往往偏向于横向研究（cross-sectional studies）的一个原因。在横向研究里，数据是同时采集的。在5岁的时候，参与者会被问及他对学校的态度。然后，再过13年，我们可以重访参与者，看他是否高中辍学。在横向研究中，所有的数据都在同一时间点采集，研究者必须询问18岁的高中辍学生他5岁时对学校有何看法，而这一信息固然便是不怎么可靠的。
存活者误差
假设一名高中校长报告说，学生中的一组特定人群在4年中（编注：美国高中有4年）考试成绩稳步上升。这批人高二的得分比他们在高一时的成绩好。高三那年的分数更好，高四达到了最好。我们假定不存在作弊的情况，也没有任何创造性地运用描述性的统计数据。无论用什么评价标准，这批学生每一年都比前一年做得更好：平均数、中位数、学生在年级水平的百分比等等。你会（A）提名这所学校的领导为“年度最佳校长”还是（B）要求提供更多的数据？
如果你有一屋子高矮不齐的人，强迫最矮的那个离开房间会使整个房间的平均身高上升，但这样做并不会使任何人的身高变高。
我的话就会选（B）。我嗅到了存活者误差的猫腻，这种情况下样本中去掉了一些或很多观测数据，以至于改变了整个剩下的观测结果，因而任何基于剩余观测数据所做的分析也受了影响。假设我们的校长真不是个好人：他学校里的学生啥也没学到；每年都有半数人辍学。不过，这在数学的考试分数上面看起来很是漂亮——但没有任何一名学生实际上考得更好。有理可测，学得最差的学生（也是考试分数最低的学生）最有可能辍学，那么考试分数的平均分会随着更多学生辍学而稳步上升。（如果你有一屋子高矮不齐的人，强迫最矮的那个离开房间会使整个房间的平均身高上升，但这样做并不会使任何人的身高变高。）
健康用户误差
每天按时吃维生素片的人更有可能身体健康——他们是每天都按时吃维生素的人！而至于维生素是否真的有益健康这又另当别论了。
想想这样一个思考实验。假设公共卫生官员颁布这样一条声明，所有的刚生了小孩儿的夫妻都能该把自己的孩子裹在紫色的睡衣里睡觉，因为这有助于刺激大脑的发育。20年后，追踪研究证实，幼年时期穿紫色睡衣确实与今后人生中取得成功有一个特别大的正相关。比方说，我们发现，98％考上哈佛大学的新生孩童时期都穿着紫色的睡衣（现在许多人仍然这样做），相比之下，马萨诸塞州监狱系统里的囚犯只有3%年幼时穿紫色睡衣。
紫色睡衣并不重要。
当然，紫色睡衣并不重要，但拥有那种会让孩子穿紫色睡衣的父母却十分重要。就算试图控制父母教育这样的因素，研究者仍然会面临那些执着于让孩子穿紫色睡衣和不穿的父母之间不可观测的差异。
正如《纽约时报》健康专栏作家加里•陶布斯（Gary Taubes）解释说，“简单地说，问题就是踏踏实实做那些对他们有好处的事情——比如按医嘱服药或吃他们认为有益健康的食物——的人，跟那些不这样做的人有着根本上的不同。”这种效应有可能扰乱任何试图评估那些被视为有益健康的活动（比如每周运动或吃羽衣甘蓝）真实效果的研究。研究人员以为他们是在比较两种饮食习惯对健康的影响：吃羽衣甘蓝和不吃甘蓝。但事实上，假如治疗组和对照组不是随机分配的，那么他们在比较两种不同的人吃两种不同的饮食，治疗组和对照组的不同有两个方面，而不是仅仅一个。
如果说统计学家是侦探，那么数据就是线索。我的妻子在新罕布什尔郊区的高中教了一年书。她的一个学生因为闯入一家五金店盗窃工具而被逮捕归案，而警察之所以能破案是因为：（1）天刚刚下雪，从五金店到学生的家里的雪上有足迹；（2）在学生家里找到了被盗的工具。好线索帮了大忙，就跟好数据一样。但首先，你得有好的数据，否则一切都是空。
