事件由来

　　2017年初，芝加哥市市长Rahm Emanuel 宣布了一个新的关于治理城市暴力犯罪的倡议。对于治理城市暴力犯罪，一般的做法是招募更多的警员或是加强与社（chao）区（yang）人（qun）员（zhong）的合作。但是，Emanuel澄清道，芝加哥警局要加大软件的应用，实施“预测治安”，特别是在城市以南的邻近地区。

　　芝加哥警局将会利用数据和计算机分析来确定哪些地区更易发生暴力犯罪，进而向这些地区拨派更多警力。此外，这款软件还将识别出那些将要但是还没有成为的暴力犯罪受害者或行凶者。警务人员甚至会提前警告这些人，以防止他们出现暴力犯罪。

　　诚然，任何对于限制芝加哥杀人案惊人增长速度的尝试都是值得赞扬的。但是，这股城市的新力量看上去忽略了一些证据，其中就包括最近人权数据分析组的一些关于治安的研究。这项研究指出预测治安这一工具，只是强化了现有的警方做法，而不是进行更完善的构想。大范围的应用可能导致定位到一些特殊群体或者有色人群。

◇◆◇◆◇

在有限的数据集上工作

　　任何预测模型或者算法都是利用数据和统计对数据中的模式进行识别。这其中包括希望从警方数据中学习犯罪趋势或者累犯。然而，一个有用的结果并不只依赖高质量的数学分析，同时也依赖高质量的数据。而有证据表明高质量的数据正是预测治安的短板。

　　机器学习算法需要从训练集中分析模式，然后在验证集上寻找相类似的模式。如果一开始从数据中学到的信号就是错的，那么后续的分析也可以省略了。

　　这样的情况就发生在谷歌的“流感趋势”项目上，这个项目是2008启动的，旨在利用人们在线搜索的信息来定位疾病的爆发。谷歌的系统对用户的搜索词进行监控，然后定位那些很多人搜索流感症状的地区。对于这些地区，该项目会向公共卫生部门进行提示，告知这些地区很可能会发生流感。

　　但是这个项目并没有将谷歌搜索算法的潜在影响以及搜索算法自身周期性迭代考虑进去。2012年初，谷歌对项目进行了升级，谷歌修改了它的搜索工具，对那些搜索“咳嗽”或“发热”的用户，建议去就医诊断。就谷歌本身而言，这一修改增加了流感相关词汇的搜索次数。此举使得谷歌流感趋势对流感爆发的预测量级是联邦公共健康官员们预期的2倍，同时也远远高于实际发生的数量。

◇◆◇◆◇

刑事司法数据是有偏的

　　谷歌流感趋势系统的失败说明了一类有缺陷数据会导致的结果：信息更偏向于测量值以外的因素。对于刑事司法预测模型定位，这样的偏见就更难了。首先,是由于警方数据并不是均匀采集的，另一方面，由于警方的追踪数据本质上反映了对收入，人种和性别等方面长期制度上的偏见。

　　虽然警方数据一般可以等同于“犯罪”，但是这个说法并不很准确。犯罪本身是一个巨大的社会现象，它可以发生在任何角落，只要有人违反了法律。所谓的犯罪数据经常列举出的不全是违法行为，比如911报警电话，又比如受到警务优先级影响,实施逮捕涉嫌特定类型罪犯，又或者在某些特定区域巡逻时出现的事件。

　　这些报警电话多的地区并不一定是犯罪高发的地区，却是警方重点关注的地方，并且这些重点关注通常会被性别和人种所偏移。

◇◆◇◆◇

“移除”偏移并不容易

　　有些研究者声称，如果不考虑人种或者性别这样的敏感变量，然后设计一个“中性”模型的话，那么机器学习算法就可以去除偏移。这个方案理论上看是可行的，但是现实生活中却不一定。

　　我们最近的研究（KristianLum，WilliamIsaac, 人权数据分析组）发现警方的PredPol无人种偏差算法，将加州奥克兰地区的毒品犯罪历史记录作为训练数据时，预测结果中，黑人社区被标为目标的次数是白人社区的两倍。同样，对于收入人群，我们也发现了类似的现象，低收入人群相对于高收入人群，被不成比例的标成目标。

　　然而，通过分析公共健康问卷和人群模型所做出的估计，结果显示奥克兰的非法药物使用在不同种族和收入群体中大致是相同的。

　　同样的种族偏移证据也出现在ProPublicat的调查报告中，他们对COMPAS（一种用在保释和判决决策时的算法）进行了分析，该算法不仅仅在弗罗里达州布罗沃德县进行使用，同时全国其他地区也有应用。然而，这个系统只能学习向它展示的数据，如果数据是有偏的，那么学习结果也不可避免的会有偏。

　　修正这个问题，不仅仅是利用更高深的数学或者统计学方法。更重要的是，它需要人们从新审视警方是如果收集和分析数据的，同时这些数据应该怎么被用作训练数据。

◇◆◇◆◇

改进系统需要提升透明度

　　在现实世界中使用预测分析是具有挑战性的，特别是当政府制定政策时希望尽量减少对弱势群体的伤害。我们不认为警察部门应该停止使用分析或数据驱动的方法来减少犯罪。相反，警方应该努力了解其数据中所固有的偏见和局限性

　　在我们看来，警方以及所有使用预测算法的机构，都应该让其系统对公众的监督透明化。这应该从社区成员与警方讨论警务工作的优先级和治安效果开始。这样，任何警方应用的软件都可以反应社区居民的价值观和关注点。

　　另一方面，如果仅仅因为某种算法是通过数据和计算来得到结果的，就假设甚至宣称算法是无偏的，那么，这样的结论是肯定站不住脚的。无偏需要从证明其算法本身性能出发。警方应该允许独立专家或人权团体对算法及其处理的数据进行定期审核。这就像大公司每年的财务评估一样，这些评估可以确保输入数据有效，并进行适当分析，来避免歧视的发生。如果一家公司要求其算法是专有的，应该保密，那么仍然需要提供强大的测试环境，以便外部专家可以检测其性能。

　　此外，那些利用算法来对个人进行预测的警方部门，例如芝加哥战略人员名册部，应该借鉴新的欧盟法规，对于涉及计算机算法得出的决策都要给出常人可以理解的解释。同时，任何机构或公司不能对预测治安算法所定位到的人有任何的歧视。

　　如果应用得法，预测治安可以用以解释犯罪趋势下的复杂原因。例如，加拿大的多伦多市以及其他一些城市，在应用预测模型时，并不是加派巡逻人员，而是预测结果将居民与当地社会服务联系起来。通过提高城市数据的质量，以及提高分析数据过程中透明度与广泛性，来帮助城市建立更安全的社区，并不是让已经很紧张的地区变得更紧张。