大模型安全不只是防止用户做坏事，还有一个被忽视的方向：模型可能泄露训练数据。通过精心设计的提问，攻击者可能让模型吐出它在训练中见过的敏感信息。

一、模型数据泄露怎么发生

如果大模型的训练数据中包含个人信息、商业秘密或未公开文档，理论上用户可以通过特定prompt诱导模型回忆这些内容。学术研究已经证明了这种攻击的可行性——不是所有模型都安全。

对于企业自己微调的模型，如果训练数据包含内部敏感文档，模型可能被诱导输出这些内容。这是一个真实的安全风险。

二、怎么防护

防护措施包括：训练前对数据做去标识化处理、输出层做敏感信息过滤、限制模型输出范围。更根本的是：不要把绝对不能泄露的数据放进训练集。

三、API模式的风险

用第三方API时风险模型侧也在防护——主流API服务商都有数据泄露防护措施。但如果你自己部署开源模型，这些防护需要自己做。安全是系统工程，不是单一措施能解决的。