OpenAI反蒸馏防护进展:GPT-6.2 Astra思考链提取成功率从54%降至0.2%
围绕热点动态、专业观察与内容价值展开更细致的整理,让信息不止停留在表面,而是更容易被理解与应用。
OpenAI反蒸馏防护进展:GPT-6.2 Astra思考链提取成功率从54%降至0.2%
IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布公告介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施。 OpenAI 称其已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护,以降低其他模型通过提取推理过程获取其能力的风险。 OpenAI 表示,对抗性蒸馏是指未经授权地利用前沿 AI 模型的输出训练其他模型,使后者获得相似能力,却不具备原模型相应的安全防护。该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中。 在内部自适应黑盒红队测试中,OpenAI 测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。 结果显示,针对此前请求推理内容的提取成功率,从 GPT-6 Astra 原有安全机制下的 54.0%,降至 GPT-6.2 Astra 更新安全机制后的 0.2%;针对当前请求推理内容的提取成功率,则从 22.9% 降至 0.9%。测试结果汇总了 6 个攻击模型的数据。 为实现上述防护,OpenAI 采用了多层措施,包括通过对抗性训练让模型识别并拒绝推理链提取请求,利用输入和输出分类器检测相关攻击及推理内容泄露,以及通过 API 限制不同会话、模型和组织之间的推理内容复用。IT之家附图如下: 其中,GPT-6.2 Astra 和 GPT-6.2 Sol 会将受保护的推理内容与生成它的对话历史关联起来。如果此前的消息被修改,API 会丢弃基于该消息生成的后续推理内容。此外,安全防护较弱的旧版模型也无法读取这两个新模型的受保护推理内容。 在针对相关行为的执法方面, OpenAI 称,今年以来,公司每周都会对涉及未经授权蒸馏活动的账号采取措施,规模从数千个到数万个不等 ,今年夏季以来相关执法规模明显增加。公司还会调查协调进行大规模提取的账号网络,并与其他模型提供商分享攻击指标,以协助识别相关滥用行为。 OpenAI 还介绍了其对蒸馏安全风险的研究。公司内部测试发现,与仅使用模型最终回答、推理摘要和工具交互记录训练的学生模型相比,使用教师模型完整推理轨迹进行监督微调的学生模型,通常能够获得更好的网络安全能力迁移效果。 特别