据美联社报道，2023年，一名13岁女孩“在与同学在线聊天时讲了一个冒犯性的笑话”。但当学校的监控软件发现这个笑话后，“第二天早上还没结束，这名田纳西州八年级学生就被逮捕了。她的母亲说，她被审问、脱衣搜身，并在牢房里过了一夜。”文章称，她的父母已对学校系统提起诉讼（文章指出，女孩直到第二天才被允许与父母通话）。“法院判处该女孩八周的软禁、心理评估以及20天的替代学校教育。”Gaggle首席执行官杰夫·帕特森在接受采访时表示，学校系统没有按照其预期的方式使用Gaggle。他表示，Gaggle的目的是发现早期预警信号，并在问题升级到执法部门之前进行干预。帕特森说：“我希望那次事件能被当作一次教育机会，而不是执法行动。”但文章指出，这只是一个例子。 “美国学校的监控系统越来越多地监控学生在学校账户和设备上的所有内容。” 全美数千个学区使用 Gaggle 和 Lightspeed Alert 等软件来追踪孩子们的在线活动，寻找他们可能伤害自己或他人的迹象。借助人工智能，技术可以深入在线对话，并立即通知学校官员和执法部门…… 在一个对校园枪击事件深感厌倦的国家，一些州对针对学校的威胁采取了更强硬的立场。其中包括田纳西州，该州于2023年通过了一项零容忍法律，要求任何针对学校的大规模暴力威胁都必须立即报告给执法部门…… 佛罗里达州教育律师沙哈尔·帕施表示，那些以为自己在朋友之间私下聊天的学生往往没有意识到自己正受到持续监控。她代理的一名少女在 Snapchat 的私人故事中开了个关于校园枪击事件的玩笑。 Snapchat 的自动检测软件截取了这条评论，公司立即向联邦调查局报警，女孩在数小时内就在校园内被捕……这项技术还可以帮助执法部门应对心理健康危机。佛罗里达州波尔克县学校（一个拥有超过 10 万名学生的学区）的学校安全项目在四年内收到了近 500 条 Gaggle 警报，官员们在教育委员会的公开会议上表示。这导致 72 例根据《贝克法案》被强制住院的案例。该州法律允许当局在人们对自己或他人构成风险时，违背其意愿要求他们进行心理健康评估……一些可供学校评估该软件有效性的信息（例如误报率）被科技公司严格控制，除非学校自行追踪数据，否则无法公开获取。一门摄影课的学生因担心 Gaggle 检测到裸体而被叫到校长办公室。这些照片已从学生的谷歌云端硬盘中自动删除，但在自己设备上备份了被标记照片的学生表示，这只是一次误报。学区官员表示，他们后来调整了软件的设置，以减少误报。2024年毕业的娜塔莎·托克扎班（Natasha Torkzaban）表示，她因为修改朋友的大学论文而被举报，因为论文中包含“心理健康……”等字眼。学校官员表示，他们认真对待Gaggle的担忧，但也表示该技术已检测到数十起迫在眉睫的自杀或暴力威胁。教育委员会成员安妮·科斯特洛（Anne Costello）在2024年7月的一次董事会会议上表示：“有时你必须为了更大的利益而审视这种交易。”
在 Slashdot 上阅读更多内容。