欧洲的 CSAM 扫描计划未被选中

欧盟已正式提出建议，从一些技术平台自愿扫描儿童性虐待材料 (CSAM) 的情况转变为更系统的情况——发布立法草案，该草案将创建一个框架，可以强制数字服务使用自动化技术检测和报告现有的或新的 CSAM，并在他们的平台上识别和报告针对儿童的美容活动。

欧盟提案——“制定规则以防止和打击儿童性虐待”( PDF )——旨在取代去年通过的欧盟 ePrivacy 规则的临时和有限减损，以使消息传递平台能够继续一些人自愿进行的长期 CSAM 扫描活动。

然而，这只是权宜之计。欧盟立法者表示，他们需要一个永久的解决方案来解决 CSAM 的爆炸式增长以及与该材料相关的滥用问题——注意到在线儿童性虐待的报告如何从 2014 年的 100 万+上升到 2020 年的 2170 万，当时 CSAM 图像和视频超过 6500 万还发现-并且还指出自大流行以来在线美容的增加。

委员会还引用了一项声称，即全球 60% 以上的性虐待材料都在欧盟托管，这进一步支撑了其采取行动的动力。

一些欧盟成员国已经在采用自己的平台提案，在国家层面解决 CSAM，因此也存在适用于欧盟单一市场的规则分散的风险。因此，该法规的目的是通过创建一个统一的泛欧盟方法来避免这种风险。

由于存在干扰隐私等基本权利的风险，欧盟法律禁止在平台上设置一般监控义务——但委员会的提案旨在通过规定法规序言中描述为“相称的有针对性的措施”来规避这一硬性限制以防止滥用给定服务进行在线儿童性虐待的风险，并受到强有力的条件和保障”。

该集团究竟提出了什么？从本质上讲，委员会的提案旨在通过让服务选择将解决这一风险与处理垃圾邮件或恶意软件放在相同的操作基础上来使 CSAM 缓解正常化——创建一个有针对性的监督风险评估框架，并结合授权（并可能要求）要实施的检测技术，同时还对如何以及是否必须进行检测进行保障，包括时间限制和多层监督。

该法规本身并未规定哪些技术可以或不可以用于检测 CSAM 或“修饰”（即旨在招揽儿童进行性虐待的在线行为）。

“我们建议强制所有服务和托管服务提供商进行风险评估：如果我的服务存在风险，我的托管服务将被使用或滥用以共享 CSAM。他们必须进行风险评估，”内政事务专员 Ylva Johansson 在今天宣布该提案的新闻发布会上解释了委员会打算如何实施该法规。 “他们还必须展示他们正在采取什么样的缓解措施——例如，儿童是否可以使用这项服务。

“他们必须将这些风险评估和缓解措施提交给他们所在的成员国或他们在欧盟指定法定代表机构的成员国的主管当局。该主管部门将对此进行评估。看看风险有多大。缓解措施的效果如何，是否需要采取额外措施，”她继续说道。 “然后他们会回到公司——他们会咨询欧盟中心，他们会咨询他们的数据保护机构——说是否会有检测令，如果他们发现应该有检测令，那么他们应该询问另一个独立的授权——可以是该特定成员国的法院——在特定时间段内发布侦查令。这可以考虑到他们被允许使用什么样的技术来进行这种检测。”

“所以这就是我们将保障措施[到位]的方式，”约翰逊继续说道。 “没有侦查令是不允许侦查的。但是，当有检测令时，您有义务执行，并且您有义务报告何时以及是否发现了 CSAM。这应该报告给欧盟中心，该中心将发挥重要作用，评估 [报告的材料] 是否会提交给执法部门 [并收集法规所谓的“明显误报”以防止无辜/非 CSAM从转发到执法]。”

她进一步建议，该法规将“使欧盟在打击网络性虐待方面处于全球领先地位”。

规定和保障

欧盟立法提案机构表示，该法规基于欧盟现有的隐私框架（通用数据保护条例；GDPR）和即将出台的数字服务法案（DSA），这是最近商定的电子商务和数字服务和平台规则的横向更新它在非法内容等领域设定了治理要求。

CSAM 在整个欧盟已经是非法的，但儿童性虐待问题如此严重——以及在线工具的作用，不仅在传播和扩大虐待方面，而且还可能促进虐待——委员会认为，在这一领域值得专门立法。

去年，它通过了一项类似的有针对性的法规，旨在加快打击恐怖主义内容的速度——欧盟的做法旨在根据需要通过使用其他垂直工具来支持欧盟数字规则手册的持续扩展。

“这当然伴随着很多保障措施，”Johansson 在谈到欧盟数字规则的最新提议时强调说。 “我们在这项立法中针对的是在线服务提供商和托管服务提供商……它是专门针对这种在线儿童性虐待材料而设计的。”

除了适用于消息服务外，该制度还包括一些针对应用商店的有针对性的措施，旨在帮助防止儿童下载有风险的应用——包括要求应用商店使用“必要的年龄验证和年龄评估措施，以可靠地识别他们的儿童用户”。服务”。

Johansson 解释说，该法规对范围内的服务提出了多层要求——首先是有义务进行风险评估，考虑他们的服务在 CSAM 的背景下可能给儿童带来的任何风险，并要求提出缓解措施他们发现的任何风险。

这种结构看起来是欧盟立法者的意图，旨在鼓励服务机构主动对用户采取强有力的安全和隐私保护方法，以更好地保护任何未成年人免受虐待/掠夺性关注，以降低他们的监管风险并避免更强有力的干预措施，这可能意味着他们必须警告他们正在扫描 CSAM 的所有用户（这不会对服务的声誉产生任何影响）。

同样在今天，委员会发布了一项“为儿童提供更好的互联网”（BI4K）的新战略，这似乎并非偶然，该战略将鼓励平台遵守新的、自愿的“欧盟适龄设计规范”；以及到 2024 年促进“在线年龄验证欧洲标准”的发展——欧盟立法者还设想在另一个泛欧盟“隐私安全”数字 ID 钱包计划中循环（即作为非商业选择证明用户是否未成年）。

BI4K 策略不包含具有法律约束力的措施，但遵守经批准的做法，例如计划中的适合年龄的设计规范，可以被视为数字服务获得布朗尼积分以符合 DSA 的一种方式 – 这是具有法律约束力和对侵权者构成重大处罚的威胁。因此，欧盟对平台监管的方法应该被理解为有意广泛而深入；长尾级联的规定和建议，既要求又推动。

回到今天打击儿童性虐待的提议，如果服务提供商最终被认为违反了规定，委员会建议处以高达全球年营业额 6% 的罚款——尽管由成员国机构决定任何处罚的确切水平。

这些地方监管机构还将负责评估服务提供商的风险评估和现有的缓解措施——并最终决定是否需要发出检测令来解决特定的儿童安全问题。

在这里，委员会着眼于避免论坛购物和执法障碍/瓶颈（因为这阻碍了 GDPR），因为该法规要求成员国级监管机构咨询一个新的、集中的（但独立于欧盟）机构——称为“欧洲预防和打击儿童性虐待中心”（简称“欧盟中心”）——一个机构立法者打算以多种方式支持他们反对儿童性虐待的斗争。

该中心的任务之一是接收和检查来自范围内服务的 CSAM 报告（并决定是否将其转发给执法部门）；维护在线 CSAM 的“指标”数据库，在收到检测命令后可能需要使用这些服务；以及开发可用于检测 CSAM 和/或修饰的（新颖）技术。

“特别是，欧盟中心将创建、维护和运营在线儿童性虐待指标数据库，要求提供者使用这些指标来遵守检测义务，”委员会在法规序言中写道。

“欧盟中心还应执行某些补充任务，例如协助国家主管当局执行本条例规定的任务，并就提供者的义务向受害者提供支持。它还应利用其中心地位促进合作以及信息和专业知识的交流，包括以循证决策和预防为目的。预防是委员会打击儿童性虐待工作的优先事项。”

毫无疑问，应用程序必须采用国家机构开发的 CSAM 检测技术的前景引起了许多安全、隐私和数字权利观察者的警觉。

尽管警报不仅限于那一个组件；海盗党欧洲议会议员帕特里克·布雷耶（Patrick Breyer）——一位特别直言不讳的批评者——将整个提案称为“大规模监视”和“基本权利恐怖主义”，因为他说它带来了一系列风险，从强制年龄验证到侵蚀隐私和消息传递的机密性，以及个人照片的云存储。

回复：中心列出的检测技术，值得注意的是，该法规的第 10 条包括关于强制使用其技术的这条警告线——其中指出 [强调我们的]：“不应要求提供者使用任何特定技术，包括那些由欧盟中心提供，只要满足本条规定的要求”——这至少表明供应商可以选择是否应用其集中设计的技术来遵守检测命令，还是使用某些他们选择的其他技术。

（好的，那么根据文章的其余部分，必须“满足”哪些要求才能免除使用欧盟中心批准的技术的义务？这些包括选定的技术在检测已知/新技术方面是“有效的” CSAM 和修饰活动；除了检测目标 CSAM 内容/行为“绝对必要”的信息外，无法从通讯中提取其他信息；是“最先进的”，对隐私等基本权利的影响“最小” ; 并且“足够可靠，因为它们最大限度地限制了检测的错误率”……因此，法规产生的主要问题可能是这种微妙而精确的 CSAM/修饰检测技术是否存在于任何地方——甚至可能存在于科幻领域之外。）

欧盟本质上是在要求技术上不可能的事情，这是对该提案的另一个快速批评。

如果消息通信/云存储等受到第三方扫描技术的损害，任何担心对（每个人的）隐私和安全的潜在影响的人来说，负责执行该法规的地方监督机构必须咨询欧盟数据保护机构——他们显然会有在评估拟议措施的相称性和权衡对基本权利的影响方面发挥重要作用。

根据委员会的说法，欧盟中心开发的技术也将由欧洲数据保护委员会 (EDPB) 进行评估，该委员会是应用 GDPR 的指导机构，它规定必须就中心列表中包含的所有检测技术进行咨询。 （“还就如何最好地部署此类技术以确保遵守适用的欧盟关于保护个人数据的规则的方式向 EDPB 进行了咨询，”委员会在对该提案的问答中补充道。）

根据欧盟立法者的说法，内置了进一步的检查，作为一个独立的独立机构（约翰森建议可能是一个法院）将负责最终发布 – 并且可能考虑到 – 任何检测令的相称性。 （但如果这个检查不包括更广泛的比例/必要性权衡，它可能只是一个程序橡皮图章。）

该条例进一步规定，侦查令必须有时间限制。这意味着根据该计划，要求无限期检测是不可能的。尽管，连续的检测令可能会产生类似的效果——尽管，您希望欧盟的数据保护机构会尽其所能建议不要这样做，否则整个制度面临法律挑战的风险肯定会增加。

所有这些制衡和监督层级是否能平息围绕该提案的隐私和安全担忧还有待观察。

本周早些时候泄露的立法草案版本迅速引发了各种安全和行业专家的响亮警报——他们重申（现在）常年警告在包含强大加密的消息传递应用程序的数字生态系统中强制进行内容扫描的影响.

尤其令人担忧的是，此举可能对端到端加密服务意味着什么——行业观察人士质疑该法规是否会强制消息平台植入后门以启用“必要”扫描，因为它们无法访问内容清楚吗？

E2EE 消息平台 WhatsApp 的负责人 Will Cathcart 迅速放大了对该提案在推文风暴中可能意味着什么的担忧。

一些批评者还警告说，欧盟的做法看起来类似于苹果去年提出的一项有争议的提案，即在用户设备上实施客户端 CSAM 扫描——在安全和数字权利专家的又一次批评风暴之后，这家科技巨头放弃了该提案。

假设委员会的提案被采纳（并且欧洲议会和理事会必须在此之前进行权衡），欧盟的一个主要问题绝对是如果/当命令执行 CSAM 检测的服务使用端到端时会发生什么结束加密——这意味着他们无法扫描消息内容以检测正在进行的 CSAM/潜在修饰，因为他们不持有解密数据的密钥。

在今天的新闻发布会上，Johansson 被问及加密问题——特别是该法规是否会带来后门加密的风险？她试图消除这种担忧，但委员会在这个话题上的迂回逻辑使得这项任务可能与发明一种完全有效且隐私安全的 CSAM 检测技术一样困难。

“我知道关于我的提议有谣言，但这不是关于加密的提议。这是一项关于儿童性虐待材料的提案，”她回应道。 “无论在什么情况下，CSAM 在欧盟都是非法的。[该提案] 只是关于检测 CSAM——而不是关于阅读或交流或任何事情。这只是找到这个特定的非法内容，报告并删除它。并且必须使用与数据保护机构协商过的技术来完成。它必须采用最少侵犯隐私的技术。

“如果你正在大海捞针，你需要一块磁铁。可以说，磁铁只会看到针，而不会看到干草。这就是他们今天使用检测的方式——公司。检测恶意软件和垃圾邮件。这是完全相同的技术，您正在搜索特定的东西而不是阅读所有内容。所以这就是它的意义所在。”

“所以，我认为是的，我希望它会被采纳，”她在谈到该提案时补充道。 “我们不能像今天这样继续让儿童得不到保护。”

如上所述，该法规没有规定用于检测 CSAM 的确切技术。因此，欧盟立法者——本质上——提议立法做一个软糖。这无疑是一种尝试回避强制隐私侵入检测的无情争议的方法，而不会在此过程中致命地破坏隐私并破坏 E2EE。

在与记者的简短问答中，Johansson 还被问到为什么委员会没有在案文中明确说明客户端扫描将不是一种可接受的检测技术——考虑到特定的“最先进”技术存在重大风险提出加密和隐私。

她回应说该立法是“技术中立的”，然后重申另一位亲戚：该法规的结构是为了限制干预，以确保它们对隐私的侵入性影响最小。

“我认为她在这些日子里非常重要。技术发展非常迅速。当然，我们一直在倾听那些担心用户隐私的人。我们也一直在倾听那些担心儿童受害者隐私的人。这就是要找到的平衡点，”她建议道。 “这就是为什么我们与主管当局建立了这个特定的制度，他们必须进行风险评估——减轻公司设计的安全措施。

“如果这还不够——如果检测是必要的——我们已经建立了与数据保护机构的协商，并且我们已经建立了另一个独立机构的具体决定，它可能是一个法院，它将接受具体的检测令。欧盟中心在那里支持和帮助技术的发展，因此我们拥有最少的隐私侵犯技术。

“但我们选择不定义技术，因为那样它可能在被采用时已经过时，因为技术和发展速度如此之快。因此，重要的 [事情] 是结果和保障措施，并使用侵入性最小的技术来达到必要的结果。”

或许，在委员会关于法规的问答中可以找到更多的保证——在回应提案将如何“防止大规模监视”的问题的部分中——它写道[强调我们的]：

“在发布检测令时，国家当局必须考虑相关技术的可用性和适用性。这意味着如果技术的发展状态没有可用的技术可以让供应商遵守检测令，则不会发布检测令。”

也就是说，问答确实证实了加密服务在范围内——委员会写道，明确排除这些类型的服务“对儿童来说后果将是严重的”。 （尽管它还简要说明了加密对于“保护网络安全和通信机密性”的重要性。）

特别是在 E2EE 方面，委员会写道，它继续“在欧盟互联网论坛的背景下与工业界、民间社会组织和学术界密切合作，以支持确定技术解决方案的研究，以扩大规模并由公司切实合法地实施在充分尊重基本权利的情况下检测端到端加密电子通信中的儿童性虐待”。

“拟议的立法考虑了根据 2020 年 12 月理事会决议产生的专门针对加密的单独、持续的多方利益相关者流程提出的建议，”它进一步指出，并补充说 [强调我们的]：“这项工作表明存在解决方案，但尚未在广泛的基础上进行测试。委员会将继续与所有相关利益攸关方合作，应对打击这些犯罪的监管和运营挑战和机遇。”

所以 – tl;dr 看起来是，在短期内，E2EE 服务可能会避开直接检测命令，因为可能没有（合法的）方法来检测 CSAM 而不会致命地损害用户隐私/安全，所以欧盟的首先，该计划最终可能会鼓励范围内服务进一步采用强加密 (E2EE)，即作为管理监管风险的一种手段。 （这对于有意操作用​​户扫描业务模型的服务意味着什么是另一个问题。）

话虽如此，拟议框架的建立方式为泛欧盟机构（欧盟中心）敞开大门，该机构被定位于就新技术的设计和开发进行咨询，这些技术有一天可能会出现风险和权利之间的界限——或者，如果你愿意，可以穿针引线。

否则，这种理论上的可能性被认为是委员会控制不守规矩的技术人员的另一根大棒，以鼓励他们进行更周到、以用户为中心的设计，以此来打击掠夺性行为和滥用其服务的行为。

原文： https://techcrunch.com/2022/05/11/eu-csam-detection-plan/