ithome
国际
科技
采集 2026-11-17T04:11:19+00:00
OpenAI推出儿童性虐待内容检测工具
原始标题:OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
来源
ithome
发布时间
2026-11-17T01:49:31
采集批次
2026-11-17-04
字数
539
URL 指纹
3a23baa30a77113f
📌 AI 总结(175 字)
OpenAI推出面向儿童性虐待内容的图像分类器,可通过API向经审核机构免费开放,以辅助审核、执法调查和干预有害行为。该工具得到美国国家失踪与受剥削儿童中心支持,误标记图像数量较现有措施减少48%,被标记图像实际含相关内容的可能性约为原来的两倍。ChatGPT也将加入警示及暂停、封禁机制,相关机构正共同制定AI系统处理儿童性剥削和性侵害披露的指南。
📄 正文(539 字)
OpenAI宣布推出儿童性虐待内容检测工具。该产品通过OpenAI API向经过审核的机构免费开放,旨在识别潜在儿童性虐待内容,中止有害行为,并为负责儿童安全案件的执法调查人员提供支持。 此次发布的全新图像分类器会寻找虐待行为的视觉特征,帮助审核团队识别此前未曾见过的新图像。分类器同时提供评分功能,便于审核人员判断哪些图像需要优先处理。美国国家失踪与受剥削儿童中心参与了工具开发,协助完成训练、评估和实际部署。 测试数据显示,与现有保护措施相比,该工具可使误标记图像数量减少48%。在已被标记的图像中,实际包含儿童性虐待内容的可能性约为原来的两倍。invodo AI的测试显示,每四个被标记案例中就有一个最终遭到封禁。 OpenAI还将在ChatGPT中增加产品警告。当用户尝试寻找相关素材时,系统将中断操作、说明后果,并引导用户寻求帮助以停止有害行为。首次发出此类请求的用户账号将被暂时停用24小时;反复违规可能导致更长时间封禁,严重者将被永久封禁或移交有关部门处理。 此外,OpenAI已与Anthropic和谷歌合作,共同委托制定关于应对AI系统中儿童性剥削与性侵害披露的新指南。该指南已由Tech Coalition发布,为开发者处理此类敏感情况提供实用建议。