放大（图片来源： d3sign | Moment ）
自 2016 年以来，宾夕法尼亚州一个县的社会工作者依靠一种算法来帮助他们确定哪些儿童福利电话值得进一步调查。据美联社报道，现在，据报道司法部正在审查有争议的家庭筛查工具，因为担心使用该算法可能违反美国残疾人法案，据称歧视残疾家庭，包括有心理健康问题的家庭。
三位匿名消息人士违反了与司法部的保密协议，向美联社证实，自去年秋天以来，民权律师一直在处理投诉，并且越来越担心阿勒格尼县家庭筛查工具中存在所谓的偏见。虽然司法部所谓的审查的全部范围目前尚不清楚，但民权司似乎有兴趣了解更多关于使用数据驱动工具可能会如何强化历史上对残疾人的系统性偏见。
该县将其预测风险建模工具描述为减少社会工作者人为错误的首选资源，该工具受益于该算法对“涉及虐待儿童指控的每个人的数百个数据元素”的快速分析。阿勒格尼县告诉美联社，这包括“与儿童、父母和当地家庭其他成员的残疾有关的数据点”。这些数据点构成了总体风险评分，有助于确定是否应该将孩子带离他们的家。