OpenAI 内部代号为「莉莉计划」的项目近日被曝光。该项目由人工审核员匿名审阅真实的 ChatGPT 用户聊天记录，目的是评判回复质量，评估回答是否切题，并检查是否存在过度「AI 式话术」、居高临下的说教语气、表情符号、谄媚口吻等问题。回复被禁止拟人化表述，也不允许编造「个人经历」。

从事这项工作的人员被称作「提示词审核员」。据审核员透露，这份工作「十分机械重复」，但时薪超过 50 美元，对于难度不算高的工作而言报酬相当可观。项目的操作指引一直在改动，不同版本之间经常自相矛盾。

值得注意的是，绝大多数用户并不知道自己的聊天内容会被其他人阅读。由于不少用户把 ChatGPT 当作倾诉对象或心理疏导对象，向 AI 吐露内心深处的秘密，这一情况尤其令人担忧。虽然聊天记录据称会先经过匿名处理，审核人员看不到用户名，但 OpenAI 承认过滤环节仍可能漏掉部分个人数据，简短会话出现这类问题的概率更高。大量对话里用户明确请求 ChatGPT 对谈话内容予以保密，交给审核人员的会话版本甚至附带「用户记忆摘要」，里面汇总了用户的提问、兴趣偏好、上下文信息，甚至可能包含位置信息。

关键在于，莉莉计划并不会核查回答内容事实上是否准确，仅会标记显而易见的错误，这意味着还有另外的团队在开展独立的效果评估。这套评分审核也和排查用户是否存在伤害他人或自身意图的人工安全审查属于两套独立流程。

该项目的存在说明，大模型的迭代进步并不仅仅依靠技术升级与更优质的训练数据集，依然需要相当数量具备相应能力的人类参与其中。

几乎所有聊天机器人都带有「允许使用你的对话记录改进产品」的设置，且默认开启，不少付费订阅方案也不例外。ChatGPT 面向企业版、商业版以及教育版客户时，该设置默认关闭。但切换开关不具备回溯效力，已存入数据库的历史聊天记录会继续保留，除非用户主动申请删除。而删除操作同样无法追溯，即便用户删除对话，对应内容或许早已被抓取、完成匿名处理，并留存于某个数据集当中。

404 Media 就此向 OpenAI 发起问询，一开始 OpenAI 没有回应用户是否被明确告知聊天记录可能交由人工审阅，仅提供了一份存在至少两年的常见问题页面链接，该页面提到出于模型优化目的会开展人工审核。在报道发布后，OpenAI 修改了帮助页面，补充说明用户如何选择退出数据收集，但修改后的文档依旧没有提及会有工作人员人工读取会话内容。

这类数据收集与人工审阅的做法在各大服务商当中普遍存在。谷歌的 Gemini 在隐私中心明确写明「部分保存的聊天记录可能由人工审核」，Anthropic 也专门开设网页说明该事项，Perplexity 的态度则尚不明确。