它从来都不是关于安全的，因为它只是为了现状的利益而控制、服务和保护。 Clearview AI、PredPol、Shotspotter，它们都是 Carolyn Bryant Donham 在技术有效性表象背后的证词—— 一个闪亮的黑匣子，让大众眼花缭乱，同时给警察另一个借口来致命地搞砸他们的搜查令。在不仅仅是故障中，数据记者和纽约大学新闻学副教授 Meredith Broussard 博士探讨了我们如何以及为什么认为自动化已经存在种族偏见的法律、银行和社会系统的各个方面是一个好主意。从不适用于深色皮肤人群的面部识别技术到不适用于深色皮肤人群的抵押贷款审批算法，Broussard 指出了一系列令人沮丧的举措，无论其意图如何，弊大于利。在下面的摘录中，Broussard 博士审视了美国预测性警务的技术性历史。
摘自不仅仅是一个小故障：面对种族、性别和能力偏见 梅雷迪思·布鲁萨德 (Meredith Broussard) 着。经麻省理工学院出版社许可转载。版权所有 2023。
预测性警务来自警务的“破窗”时代，通常归功于前纽约市警察局长兼洛杉矶警察局局长威廉·布拉顿 (William Bratton)。作为纽约市警察局长，布拉顿推出了 CompStat，这可能是数据驱动警务最著名的例子，因为它在 HBO 的The Wire的第三季中作为一个名为“Comstat”的对手出现。 “CompStat 是一种将犯罪和执法统计数据联系起来的管理模型，它是多方面的：它可以用作犯罪控制策略、人员绩效和问责制指标以及资源管理工具，”社会学家莎拉·布雷恩 (Sarah Brayne) 在她的《预测与监视》一书中写道。 “犯罪数据是实时收集的，然后进行映射和分析，为警察高管和分局指挥官之间的每周犯罪控制战略会议做准备。” CompStat 在 1990 年代和 2000 年代被美国主要城市的警察部队广泛采用。通过严重依赖犯罪统计数据作为绩效指标，CompStat 时代训练警察和官僚将量化置于问责制之上。此外，关于犯罪统计数据的每周会议作为量化仪式，使参与者以一种创造集体团结的方式相信数字，并培养了组织行为学家梅丽莎·马兹曼尼安和克里斯汀·贝克曼所说的“对数字客观权威的基本信念”以激励行动、评估成功并推动持续的组织发展。”换句话说：技术沙文主义成为采用 CompStat 和其他此类系统的部门内部的文化。组织流程和控制变得围绕着被认为是“客观”和“中立”的数字。这为采用人工智能和计算机模型加强警务以及加强对已经过度警务的社区的监视和骚扰铺平了道路。
计算机模型只是人们长期想象软件用于犯罪将使我们更安全的最新趋势。在Black Software中，Charlton McIlwain 追溯了警察想象软件等于救赎的历史，早在 1960 年代，计算时代的黎明。当时，IBM 的负责人小托马斯·J·沃森 (Thomas J. Watson, Jr.) 正试图普及计算机，以便让更多人购买它们。 Watson had also committed (financially and existentially) to the War on Poverty declared by President Lyndon Johnson upon his election in 1964. “Watson searched for opportunities to be relevant,” McIlwain writes. “他说他想帮助解决困扰社会的社会弊病，尤其是美国城市贫民的困境……他不知道自己在做什么。”6 Watson 想销售计算机和软件，所以他提供了他公司的他对一个他一无所知的领域的计算专业知识，为了解决他不理解的社会问题，使用社会问题专家不理解的工具。他成功了，它在大型科技公司和警察部门之间建立了一种至今仍然存在的动力。 Palantir、Clearview AI 和 PredPol 等软件公司开发了有偏见的瞄准软件，他们将其称为“预测性警务”，就好像这是一项积极的创新。他们说服警察部门将纳税人的钱花在有偏见的软件上，最终使公民的生活变得更糟。在上一章中，我们看到了面部识别技术如何在犯罪发生后导致警察对无辜者进行迫害。预测性警务技术引导警察在犯罪发生之前就追捕无辜的人。
写关于特定警务软件的文章很棘手，因为芝加哥警察局所做的与洛杉矶警察局或纽约警察局所做的并不完全相同。很难确切地说出每个警察机构正在发生什么，因为技术在不断变化，并且正在以不同的方式部署。确切的规格往往隐藏在供应商合同中。即使警察部门购买了软件，也不一定会被使用，也不会完全按照预期的方式使用。背景很重要，技术的确切实施以及使用它的人也很重要。考虑用于收取通行费或进行监视的车牌阅读器。州交通当局使用自动车牌阅读器自动收取通行费可能是人工智能和自动车牌阅读器技术的可接受使用——如果数据没有长期存储的话。警方在天罗地网监视中使用的相同车牌阅读器技术会无限期存储数据，这是有问题的。
每当公众意识到一些预测性的警务措施时，就会爆发争议。考虑佛罗里达州帕斯科县治安官办公室实施的基于人的预测性警务，该办公室创建了一个被认为是未来罪犯的人的观察名单。坦帕湾时报记者 Kathleen McGrory 和 Neil Bedi 因其关于帕斯科县治安官办公室如何生成其认为可能违法的人员名单的故事而获得普利策奖。该名单是根据逮捕历史和未指明情报的数据以及警方分析员的武断决定编制的。治安部门派出代表监视和骚扰监视名单上的人。通常，代表们缺乏可能的原因、搜查令或犯罪证据。五年内，近 1,000 人卷入标有“情报主导的警务”的系统性骚扰。值得注意的是，观察名单上的很大一部分人都是 BIPOC。
Pasco 计划于 2011 年启动，在 Chris Nocco 就任警长后不久。 Nocco 提出了用数据驱动的举措“改革”部门的想法。 “10 年来，没有人真正了解这是如何运作的，公众也不知道发生了什么，”贝迪在解释报告项目时说。8 治安官建立了一个“有争议的数据驱动的警务方法。他还建立了一个广泛的有权势的朋友圈，”包括当地和国家的政治家，他们没有质疑他的行为。
然而，骚扰并没有就此停止。另外，治安官办公室创建了一份它认为可能成为未来罪犯的学童名单。该办公室从当地学校收集数据，包括儿童成绩、学校出勤记录和儿童福利历史等受保护信息。家长和老师没有被告知孩子被指定为未来的罪犯，他们也不了解学生的私人数据正在被武器化。凯瑟琳·麦格罗里 (Kathleen McGrory) 说，学校系统的负责人最初并没有意识到警方可以访问学生数据。
调查一经公布，公民自由团体就谴责了情报计划。三十个团体组成了一个抗议联盟，其中四个目标人群对该机构提起诉讼。提出了两项法案，以防止将来发生这种入侵和滥用行为。联邦教育部对治安官办公室与当地学区之间的数据共享展开了调查。幸运的是，因此，警方分析员将无法再获得学生成绩。
许多人认为使用更多技术会使事情变得“更公平”。这是使用机器代替法官的想法背后的原因，这种想法在律师和计算机科学家中定期出现。我们在采用随身摄像机时看到了这一点，自 1991 年洛杉矶警察局官员残忍殴打罗德尼·金以来，这一举措一直在发展，并且这次袭击是在家用摄像机上拍摄的。有一个虚构的世界，一切都被视频捕获，有完全公平和客观的算法来判断视频中发生的事情，面部识别识别坏人，英勇的警察进去拯救世界并抓住坏人。这种幻想在电影《少数派报告》中得到了合乎逻辑的结论，汤姆·克鲁斯在影片中扮演一名警察，根据一些有先见之明的青少年的推荐，在人们犯罪之前将其逮捕，他们被关押在充满粘性物质的游泳池中。 “这就像《少数派报告》一样，”当两人讨论 Palantir 的警务软件时，一名警官对社会学家莎拉·布雷恩 (Sarah Brayne) 惊叹不已。
让这种情况变得更加困难的是，链中涉及的许多人并不是恶意的。例如，我的堂兄是白人，多年来一直是州警察。他很棒、善良、诚实、正直，正是我遇到麻烦时会求助的人。他和他的家人对我来说非常重要，我对他们也很重要。我相信法律，我也相信抽象的执法，就像许多人在有幸不与执法部门或法院互动或成为执法部门或法院的目标时所做的那样。
但警察的起源对像我这样的黑人来说是有问题的，在当今的美国，警察严重滥用职权的频率已经失控。警察技术和机器公平性是我们在警务中实施任何类型的数字系统之前需要暂停和修复人力系统的原因。
美国现行的警务制度，包括警察兄弟会和制服等，始于南卡罗来纳州。具体来说，它于 1700 年代出现在南卡罗来纳州的查尔斯顿，作为奴隶巡逻队。 ACLU 警务政策主任 Paige Fernandez 在 2021 年的播客中说：“从字面上看，这是一支由白人自由人组成的专业力量，他们聚集在一起，以维持对居住在查尔斯顿市内的黑人、被奴役者的社会控制。” “他们聚集在一起的唯一目的是确保被奴役的黑人不会组织起来反抗奴隶制。这是美国现代警察部门的第一个例子。”学者西蒙·布朗 (Simone Brown) 在她的著作《暗物质：对黑人的监视》(Dark Matters: Surveillance of Blackness) 中，通过灯笼法将现代对黑人身体的监视与动产奴隶制联系起来，这是纽约市 18 世纪的法律，要求黑人或混血人在外出时携带灯笼一个白人无人陪伴的夜晚。学者乔什·斯坎内尔 (Josh Scannell) 将灯笼法视为当今警察使用泛光灯整夜照亮犯罪高发地区政策的先例。居住在戒备森严的街区的人们永远得不到宁静的黑暗外衣，因为泛光灯整夜都在人工照明，而发电机发出的响亮的嗡嗡声使街区更加嘈杂。
美国公民自由联盟 (ACLU) 的费尔南德斯 (Fernandez) 从维持对黑人控制的奴隶巡逻到警察部门的发展，再到吉姆克劳时代规则和法律的实施，再到警察在民权时代实施种族隔离，煽动对和平抗议者的暴力，再到升级警察暴力。反对黑人和棕色人种，并引发了“黑人的命也是命”运动。费尔南德斯指出，警察在 2020 年夏天对和平抗议者使用催泪瓦斯和胡椒喷雾，向抗议者发射橡皮子弹，向抗议者发起冲锋，并使用水壶等手段将抗议者逼入更容易施暴的封闭空间。
统计数据描绘了一幅严峻的画面。 “当黑人没有攻击或没有武器时，黑人被警察杀死的可能性是白人的 3.5 倍。乔治·弗洛伊德就是一个例子，”社会学家拉肖恩·雷 (Rashawn Ray) 在布鲁金斯学会 2020 年关于警察问责制的政策简报中写道。14 “黑人青少年被警察杀害的可能性是白人青少年的 21 倍。那是 Tamir Rice 和 Antwon Rose。在美国，大约每 40 小时就有一个黑人被杀。那是 Jonathan Ferrell 和 Korryn Gaines。每千名黑人中就有一人可能会在一生中被警察暴力杀害。这是 Tamir Rice 和 Philando Castile。”当杀害乔治·弗洛伊德的警官德里克·肖万被判有罪时，这是值得注意的，因为警察很少对针对黑人和棕色人种的暴力行为负责。
需要改革。然而，这种改革不会出现在机器中。
本文最初出现在 Engadget 上，网址为 https://ift.tt/vjzOAn8