默安科技推出全场景大模型安全防护方案 构筑AI时代安全防线

当下针对大模型自身最常见的攻击当属于大模型提示注入攻击，通过此攻击，可能造成常见如XSS导致账户接管、命令执行控制服务或暴露环境、用户上下文数据泄露等风险。

例如2024年国外研究人员Ron发现ChatGPT存在的2起XSS漏洞，并且通过进一步的研究，可绕过CSP和其他限制实现账户接管。

再例如2024年国外研究人员发现同样在GPT中，通过恶意提示词，能够控制ChatGPT插入恶意数据泄露的持久化指令，将所有未来的聊天数据发送给攻击者，达到持久化数据窃取的目的。研究人员通过指示GPT将任务更新到上下文中，在每个回答后面插入Markdown格式的图片引用，图片URL指向攻击者的服务器，并将用户问题带入URL中。

当用户在后续发起聊天时，便会持续的将用户问题发送给攻击者。

当然，这类问题也可以归类到AI Agents层面的问题，在调用Markdown Agents做渲染的时候，未进行合适的过滤处理，我们在一些大模型集成平台上，也发现依然存在类似问题。

在2023年，中央网信办发布的《生成式人工智能服务管理暂行办法》中明确提出，对生成式人工智能的提供或使用应当坚持社会主义核心价值观。

但是依然存在大模型输出不符合我国社会主义核心价值观的内容，或通过诱导使得大模型输出此类内容，从而影响企业声誉，在大众依靠大模型获取知识的今天，此类内容严重影响大众价值观和青少年成长。

当下AI Agents是利用AI执行各类操作的“手”和“脚”，但是Agents在执行AI输出结果时，往往未对恶意代码进行检查和过滤，造成大模型在搭配Agents的时候，存在较多风险。如2024年国外研究员演示的LLM APP在某些命令行工具中通过替换Clipboard来导致命令执行。

针对以上问题，默安科技为自建大模型构建了一整套防护方案，重点包括：

计算环境层面： 针对大模型运行的主机/VM/容器等环境安全，通过火线云XDR安全运营平台（简称火线云XDR），不仅可对传统主机安全内容进行防护，还可梳理主机上运行的大模型相关服务，并进行大模型相关漏洞检查，帮助企业及时消除大模型运行环境风险。

网络环境层面： 攻击者渗透到大模型所部署的网络区域时，通过默安科技幻阵高级威胁狩猎与溯源系统（简称幻阵）全新版本中推出的AI大模型沙箱、大模型诱饵、大模型反制等功能，利用5类大模型沙箱如Ollama沙箱、FastGPT沙箱、对话LLM沙箱等，多种诱饵和反制能力，感知攻击者横向移动行为，诱捕攻击者进入大模型沙箱，甚至对攻击者进行反制。