韩国利用人工智能识别96,210件儿童性虐待材料,内容下架仍存障碍

阅读约需 7 分钟
South Korea Uses AI to Flag 96,210 Child Sexual Abuse Materials as Removal Gaps Persist

检测速度提升,内容下架仍面临挑战

韩国数字性犯罪应对国家中心借助一套人工智能系统,协助工作人员查找疑似内容并请求平台删除。在4月至9月期间,该中心识别出96,210件儿童性虐待材料。性别平等与家庭部表示,每名监测人员日均发现202.1件,远高于系统引入前的20.8件,约为此前的9.7倍。

目录
  1. 检测速度提升,内容下架仍面临挑战
  2. 国家系统如何运作
  3. 数字增长意味着什么
  4. 接受援助者以年轻人为主
  5. 首尔提供了另一种加快举报的范例
  6. 为什么提出删除请求未必能终止虐待
  7. 下一步目标是识别对话中的诱骗行为
  8. 提供支持仍离不开人
  9. 应对措施的发展历程
  10. 要点

这套系统于4月启用,全天候搜索社交媒体、网络社区和随机聊天应用。工作人员会先审核系统的搜索结果,再向平台提出删除请求。过去需要员工手动搜索网站、整理报告的工作,如今处理速度大幅提高。

这些数字显示,该中心发现并举报相关材料的能力大幅提升。但要让网站采取行动是另一项挑战:该中心表示,2025年有28.5%的删除请求未获落实。在该中心能够确认服务器所在地的网站中,至少95.5%托管于海外。

对受害者而言,实际影响并不止于首次提出删除请求。图像可能被复制并重新上传,因此需要反复搜索并持续提供支持。国家中心将监测和删除协助与法律行动方面的帮助结合起来。

韩国的经验也体现了同一项技术的两种用途。人工智能既能生成通常被称为深度伪造的虚假色情图像,也能帮助工作人员识别此类材料并加快应对。无论是在审核疑似虐待内容时,还是在帮助受影响者时,人工判断都仍是流程的一部分。

广告

国家系统如何运作

国家中心的系统使用约220个关键词收集帖子,这些关键词来自其监测工作。系统会结合文本和图像进行分析,再向工作人员展示评估结果及其依据。最终是否举报,由工作人员决定。

工作人员批准举报后,系统会整理相关平台或主管部门要求的信息。如今处理一项删除请求大约只需一分钟或更短时间。这指的是准备和提交请求所需的时间;之后仍须由网站回应并删除相关内容。

图像默认经过模糊处理,员工在需要作出判断时才会查看原图。这样既能减少反复接触令人不安的材料,也保留了人工审核环节。该中心还计划利用其数据库训练系统,以提高检测准确率。

数字性犯罪应对国家中心主任金美顺介绍了自动化如今如何为相关工作提供支持:

从检测材料是否传播,到提交下架请求,系统基本上会自动处理整个流程,不需要每一步都由人工介入。

该中心已在包括Google、X、Bluesky和Telegram在内的14个平台安装数据采集器。这些采集器会自动收集材料供评估,让员工减少手动搜索的时间,把更多精力用于审核和协助受害者。

数字增长意味着什么

该中心在2025年全年处理了45,438起案件。次年4月至9月,中心处理了96,210起,约为前一年全年总数的2.1倍,而且仅用了六个月。每名监测人员的日均处理量从20.8件升至202.1件,增加了181.3件。

该中心2025年为10,637名受害者提供支持,高于2020年的4,973人。五年间增加了5,664人,增幅约为114%。受害者人数统计的是接受援助的人数,而处理量统计的是中心处理材料和删除请求的工作量。同一名受害者的案件可能需要反复跟进,因为相关内容可能持续传播。

广告

该部计划在2027年将监测范围扩大至139个平台。该部公告称目前覆盖74个平台,但也有资料提到目前总数为79个平台。中心另行表示,计划将自动化采集平台从14个扩展至139个。已公布的数字尚未说明更广泛的监测覆盖范围与已安装采集器之间的确切关系。

按该部公布的74个平台计算,扩大至139个平台意味着增加65个平台,增幅约为88%。覆盖范围扩大后,监测流程将纳入更多可能出现虐待材料的平台,同时也会增加员工需要评估的材料数量。

接受援助者以年轻人为主

2025年,青少年和二十多岁的人群占国家中心受助者的77.6%。青少年占28.5%,二十多岁的人群占49.1%。该中心为3,052名20岁以下人士提供了帮助,其中包括20名未满10岁的女孩。

该中心还发现一种模式:施害者通过聊天应用接近潜在受害者,迅速建立信任,再逐步实施剥削。儿童可能不知道虐待材料正在传播,也可能因恐惧而不敢求助。因此,即使没有受害者提出请求,中心也会主动搜索儿童性剥削材料。

警方数据从另一个角度反映了网络性虐待的规模。2024年11月至2025年10月,韩国警方在网络性虐待案件中拘留了3,557名嫌疑人。嫌疑人中近半数为青少年,涉及深度伪造的犯罪占案件总数的35.2%。

深度伪造是指利用人工智能修改或生成图像、视频或音频,让某人看起来像是做了或说了实际并未做过或说过的事。在性虐待案件中,虚假材料可能将某人的面容合成到色情内容中。金美顺表示,该中心的系统能够识别肉眼难以辨认的深度伪造内容。

首尔提供了另一种加快举报的范例

首尔市政府于2023年推出自己的人工智能监测系统,并于2025年宣布启用自动举报功能。在5月23日的公告中,首尔市表示,过去需要两个半至三个小时的检测和识别工作,如今六分钟即可完成。

广告

该市的系统会持续监测、生成报告,并起草邮件,请托管网站删除相关材料。下架支援专员会先审核每份邮件草稿,再将其发送。邮件可用七种语言起草,包括英语、中文、日语和俄语,以联系在海外运营的网站。

首尔市还介绍了一项范围更窄的处理指标:输入关键词并生成结果现在需要三分钟,而工作人员手动操作平均需要两小时。该市计算得出,耗时减少了97.5%。六分钟和三分钟这两个数字指的是流程中的不同任务。

首尔市人工智能系统处理的下架案件从2022年的2,509起增至14,256起,增幅约为468%。首尔数字安全支援中心在三年间帮助了3,650人,并记录了64,677起支援服务个案,包括调查和法律协助、心理咨询及医疗护理。

2022年,儿童和青少年相关的支援个案有50起,占16.2%。到2024年,首尔市记录到624起,占22.1%。这意味着个案数约增至12.5倍,占比上升了5.9个百分点。首尔市的市级服务与国家中心运行的是不同系统,因此两者的活动数据分别属于不同项目。

为什么提出删除请求未必能终止虐待

国家中心2025年有28.5%的删除请求未获落实,意味着每四项请求中就有一项以上未能实现预期删除效果。金美顺还表示,超过四分之一收到联系的网站完全没有回应。一些非法网站会通过改变访问路径来逃避封锁。

服务器托管在海外又增加了一层工作。该中心与警方和调查机构合作,也与海外支援组织及大使馆协作。使用合适的语言发送请求有助于平台采取行动,而要对不配合的运营方采取执法措施,则需要中心以外的机构协同配合。

性别平等与家庭部、警方和韩国通信标准委员会成立了联合受害者支援小组,重点在于阻断虐待材料的传播。所述措施包括从服务器层面推动删除,或关闭非法网站。

金美顺强调,内容删除后仍可能被复制和再次传播,因此需要持续提供援助。对受害者来说,支持可能包括搜索新上传的内容、再次提出删除请求,以及在较长时间内获得法律或心理帮助。

广告

下一步目标是识别对话中的诱骗行为

国家中心正在开发一项技术,通过分析对话的进展来识别网络诱骗行为。诱骗是指成年人或其他施害者逐步取得年轻人的信任,将其引向性剥削的过程。

关键词搜索在这方面存在局限,因为单条信息可能使用普通措辞。评论某人的外表或询问年龄,单独来看可能并无异常,但如果之后施压要求转入私人联系或参与性活动,就可能构成更令人担忧的对话。正在开发的技术将评估对话的先后顺序和上下文,而不只依赖孤立的词语。

该中心还在开发一款人工智能聊天机器人,向容易受到伤害的年轻人介绍支援服务信息。这两个项目都将工作范围从寻找已在网上传播的材料拓展出去:一项旨在识别可能导致剥削的接触方式,另一项则希望让人们更容易找到援助。

中心尚未公布对话分析工具或聊天机器人的推出日期。目前公布的扩展目标定于2027年,届时中心计划将人工智能监测覆盖范围扩大至139个平台。

提供支持仍离不开人

国家中心于2018年开始运作,之后随着性暴力预防和受害者保护相关法律调整而更名。该中心隶属于韩国女性人权振兴院,下设四个团队,核定编制为43人。

自动化改变了员工分配时间的方式。持续搜索、归类搜索结果和准备申请表格等工作,可以部分交由软件处理。但决定采取何种行动、帮助受害者寻求法律救济,以及应对他们的痛苦,仍需要工作人员参与。

韩国女性人权振兴院院长朴光洙阐述了人在这项服务中的作用:

无论使用何种人工智能或技术,受害者支援都必须以人为本,并始终由人来完成,”朴光洙说。“在此过程中的无数环节,也都需要人来参与。

模糊预览、自动化文书处理和更快速的采集,都通过减少重复劳动和接触有害图像的机会来支持这一理念。中心扩大服务规模,既要发现更多材料,也要保留采取行动所需的人工审核和受害者支援。

广告

应对措施的发展历程

韩国的国家级和市级项目经历了多个发展阶段。以下时间线显示,在自动搜索和举报功能不断发展的同时,受害者援助服务也在持续扩大。

  • 2018年:国家数字性犯罪受害者支援中心开始运作。
  • 2023年:首尔市政府推出人工智能监测系统。
  • 2024年11月至2025年10月:警方在网络性虐待案件中拘留3,557名嫌疑人。
  • 2025年5月23日:首尔市宣布启用自动举报功能,删除邮件发送前由工作人员审核。
  • 2025年:国家中心为10,637名受害者提供支持,处理45,438起案件。
  • 2026年4月至9月:国家中心在4月引入人工智能系统后处理96,210起案件。
  • 2027年:国家中心计划将人工智能监测覆盖范围扩大至139个平台。

下一项预定扩展涉及平台覆盖范围。实际成效取决于疑似材料能否迅速送交人工审核,以及平台和主管部门能否有效响应后续请求。

要点

  • 国家中心在4月至9月期间识别出96,210件儿童性虐待材料。
  • 每名监测人员的日均检测量从20.8件升至202.1件,约为此前的9.7倍。
  • 工作人员会在提交删除请求前审核疑似材料。
  • 2025年,国家中心有28.5%的删除请求未获落实。
  • 接受国家支援的受害者中,青少年和二十多岁的人群占77.6%。
  • 首尔另有一套独立的人工智能系统,可起草七种语言的删除邮件,供工作人员审核。
  • 国家中心计划在2027年将覆盖范围扩大至139个平台,并正在开发识别诱骗行为及提供支援信息的工具。
分享本文

猜你喜欢