Gemini 系统提示词意外泄露
推荐指数 48.0 NO. 017 · 2026.05.22
发布2026/05/21Score91Comments41
为什么值得看
Gemini 在对话中随机输出了完整的系统提示词，包含角色设定、安全策略和内部工具调用规则。这是大模型厂商罕见的安全疏漏，提示词工程和安全边界设计值得所有开发者审视。
编辑判断
系统提示词泄露比想象得更危险——攻击者可以精准构造对抗输入绕过安全层。之前 Claude、GPT-4 都出现过类似案例，但 Google 作为后发者本应更谨慎。
更值得玩味的是泄露内容本身：Gemini 的系统提示里大量依赖外部工具调用（Google Search、代码执行器），这意味着它的安全边界很大程度上取决于工具层的权限控制，而非模型自身。做 AI 应用安全的团队可以借此研究大厂的实际防护策略，这比论文里的理论框架有用得多。
如果你在做 Agent 或工具调用相关的产品，建议立刻检查自己的系统提示是否可能在异常输出流中暴露，特别是流式响应时的边界处理。
社区反馈
意见分歧 39 条评论
核心争论：泄露内容是真实系统提示还是模型幻觉
"Randomly"? Can you provide more explanation about how this occurred?
I have connected yt music app then asked about what playlists do i have then it dumped that and continued with an explanation about it couldn't list the playlist but have a idea about what type of musics i listen. Since the content was irrelevant, i called it as "randomly".
Hey this context is more importante than the prompt itself, make it more clear in the post! As this hints to a way to reproduce the output and likely estimate if it's an hallucination or not