据公开资料显示，科技公司通常使用AI工具对疑似CSAM的图片进行审查，每年可标记超百万次。第一个AI工具由微软在2009年开发，名为“PhotoDNA”,它是一个已知虐待图像的数据库，被转换成独特的数字代码。它可以快速梳理大量图像，并迅速检测出与数据库相匹配的图像，被许多科技公司用来审核并封禁非法图像。2018年谷歌开发了一个AI工具，可以识别出从未见过的被虐待的儿童图像。这意味着它不仅可以找到已知的图像，更可以发现未知受害者。

在可疑图像被AI标记后，谷歌的人工审核员会再一次审查该图像，并及时向有关部门报告。据悉，2021年，仅谷歌就向NCMEC报告了超过60万例CSAM案件，而NCMEC则向警方报告了4260名潜在受害者——该名单就包括Mark和Cassio的孩子。

保护儿童免受虐待无疑是重要的，但批评者认为，扫描用户照片的做法不合理地侵犯了他们的隐私。据报道，非营利性数字权利组织电子前沿基金会（EFF）技术项目总监Jon Callas称谷歌的做法具有非常强烈的“侵入性”。“这正是我们都关心的噩梦，”他表示，“他们会扫描我的家庭相册，然后我就会遇到麻烦。”

   据悉，一位父亲使用手机拍摄了自己的孩子腹股沟感染的照片并发给医生后，谷歌AI将照片识别并标记成儿童性虐待材料（CSAM）并封禁了该父亲的账号，还向国家失踪和受剥削儿童中心（NCMEC）提交了一份报告，推动警方调查此事。然而，即便警方宣布该父亲无罪，谷歌仍然拒绝解封其账号。

南都·AI前哨站梳理公开资料发现，很多科技公司都会使用AI工具对疑似CSAM的图片进行审查，每年可标记超百万次。但这一行为是否侵犯用户隐私，以及AI审查的准确性往往受到质疑。2021年2月份，许多诊所都处于关闭状态。来自旧金山的Mark发现孩子的腹股沟部位发生肿胀，在与医生进行沟通后，向其发送了该部位的照片，医生据此开具了治疗感染的药物。

然而，在拍摄照片两天后，Mark收到了谷歌的通知，称其账户由于存在“有害内容”而被锁定，且这些内容“严重违反了谷歌的政策，可能是非法的”。

账户被锁定后，Mark无法访问他的电子邮件、联系人、照片，而且由于他使用了谷歌的移动通讯服务，他无法再使用他的电话号码。Mark试图对谷歌提出申诉，但谷歌拒绝了Mark的请求。

2021年12月，旧金山警察局向Mark寄来一封信，告知其正在被调查。等到Mark与警方取得联系，对方告诉他，调查已经结束，最终认定该事件“不符合犯罪要素，也没有发生任何犯罪”。

值得注意的是，在调查过程中警方曾试图联系Mark，但他的电话和电子账户都无法使用。在拿到警方的报告后，Mark再次向谷歌提起申诉要求解封其账号，谷歌不仅没有同意，甚至永久删除了他的账号。

谷歌称，审核人员在事件发生后审查Mark的账户时，发现了他拍摄的一段视频，显示一个孩童和没有穿衣服的女人躺在床上。Mark表示，视频中是他的妻子和孩子，他只是记录了一个私人时刻，没有想到会被他人观看和评判。无独有偶，同样的事件也发生在了得克萨斯州。

休斯敦的一名孩童因腹股沟受到感染，其父亲Cassio在儿科医生的要求下拍摄了照片，这些照片被自动备份到谷歌相册，他还使用谷歌的聊天服务将照片发给了妻子，随后其谷歌账户被禁用。Cassio正在购买房子并签署了许多数字文件，邮箱被禁用给其带来了很大不便。另一方面，一些研究表明，审查的准确性不高。Facebook对150个被AI认为涉嫌CSAM的账户进行的一项研究发现，75%的账户发送相关图像并非出于恶意，甚至没有意识到该图像涉嫌CSAM，通常是为了表达“愤怒”或“试图幽默”。LinkedIn曾通过AI检测发现了75个涉嫌CSAM的账户并向欧盟报告，但经过人工审查，其中只有31例被确定为有问题的账户，准确率甚至不到50%。