专栏名称: 阿里研究院
阿里研究院依托阿里巴巴集团海量数据、深耕小企业前沿案例、集结全球商业智慧,以开放、合作、共建、共享的方式打造具影响力的新商业知识平台。 阿里研究,洞察数据,共创新知! 官方网站http://www.aliresearch.com/
目录
相关文章推荐
老高电商圈子  ·  1、很多电商公司虽然干了一个亿,但连一个研究 ... ·  17 小时前  
老高电商圈子  ·  1、很多电商公司虽然干了一个亿,但连一个研究 ... ·  17 小时前  
龙商网超市周刊  ·  618开始,37天连开14店!前方高能,比优 ... ·  昨天  
AMZ123跨境电商  ·  亚马逊每日一店421丨毛利高达70%?索环工 ... ·  昨天  
网购投诉平台  ·  尚德机构 一只船教育 网易云课堂 中职通 ... ·  2 天前  
蛋先生工作室  ·  最新淘汰鸡行情 ·  3 天前  
51好读  ›  专栏  ›  阿里研究院

治理之智|用户-模型数据交互安全:挑战、应对及思考

阿里研究院  · 公众号  · 电商  · 2024-12-10 17:37

正文

请到「今天看啥」查看全文



从发展的角度,大模型将重构数据利用模式,为用户带来全新的数据价值,对此用户-模型数据安全问题不能局限于管控和限制,还需建立对大模型技术的信任,为大模型用好数据创设条件。 大模型改变了数据利用的传统方式,通过对各种来源、各种类型数据的“转换性使用”,将数据中潜藏的客观规律转化为知识性的模型能力,通过模型推理和生成形成了绘制世界的“柏拉图表征”——模型能力的发展需要更为广泛的数据汇聚,各来源数据的“技术性共享”能够产生传统数据技术无法实现的“全面性理解”和“一致性表达”。[5]这使得大模型对用户数据的使用不仅不影响用户数据在传统场景中的价值,而且能将用户数据融合进入大模型能力之中,为用户使用大模型能力、参与大模型驱动的场景提供全新的价值基础。 在推动用户数据向模型汇聚、利用模型重塑用户数据价值的过程中,还需要用户以及各类数据来源方形成统一的认知,对大模型技术的发展予以充分的信任。 解决用户-模型交互数据安全问题的目标,除了有效管控各类场景中的核心风险外,更重要的是消除用户对大模型技术的不信任,让模型能够利用到好用户数据提升能力,并为用户提供更好的模型服务。因此, 用户-模型数据安全的解决方案不应止于对数据流动的限制和控制,而是应当以终为始,以发展大模型能力、为用户创造数据新价值为目标,提高大模型技术和处理环境的透明度,增进用户对模型的理解,为更主动、更可控的用户数据-模型共享利用提供信任基础。



二、提高用户信任:用户-模型数据交互链路解析和安全应对















(一)保障执行环境安全、尊重用户权益,建立用户信任基础



保障用户-模型数据交互安全保障不是从零开始,而需要建立在确保执行环境安全、保障用户数据权益的基础之上,进一步针对用户-模型的数据交互链路,提高数据处理的安全性以及用户对各来源数据的可控性。 在建立数据交互对应性保障机制之前,首先需要建设云侧、端侧等执行环境的安全保障能力,采取协议承诺、技术管控等方式让用户对自身数据可控可管可审计,为用户进一步使用模型、与模型进行数据交互奠定信任基础。


其一,保障用户数据处理环境的安全一致性。 无论是端侧还是云侧,用户-模型交互处理的整体环境应当在数据安全保障级别上需要和用户私域等同,用户数据在各类执行环境中都受到同等的安全保护,例如对企业用户需高度关注企业商业秘密在传输、存储过程中的加密和防攻击,应用处理过程中的权限限制,对个人用户则要保障对其个人数据的控制权和安全性,保证对数据处理的知情同意。


其二,保障用户对自身数据的高度可控性。 严格遵守用户指令,以用户授权为前提,强化权限保护、数据可控性、可审计性,责任可追踪。一方面,通过授权和密钥控制,保障用户数据的私密性,对用户数据管控和滥用防控,让用户了解并控制各执行环境中的数据使用情况,避免超权限、超范围、超目的的数据访问,做到“操作可审计”。另一方面,发现事故后快速定位问题源头,区分是用户不当使用、系统漏洞还是外部攻击等行为所导致的安全风险,做到“责任可追溯”。

而在保障执行环境安全、尊重用户权益的基础,可以进一步针对用户使用模型的特点,基于数据交互状态进行链路解析和针对性的安全治理。



(二)场景化拆分:用户-模型数据交互典型场景解析和安全应对


1、第1类场景:用户数据进入模型(以模型微调为例)



图一 用户数据进入模型(以模型微调为例)


【场景特点】在以用户微调模型为代表的、用户提供自身数据用于模型训练的场景里,用户将自有数据通过API接口上传至模型服务域进行存储,并用于用户模型的优化训练(如微调、对齐等),在通过模型服务安全评估以后,用户可以自行下载微调模型,或者在模型开发平台上发布并对外提供服务。在该场景下, 用户和模型交互程度低 交互数据限于用户主动输入的数据,交互过程限于模型服务域对用户数据进行的存储以及提供用于模型训练,经过优化训练后的交互数据成为模型能力的一部分。


【主要风险】该场景中用户-模型数据交互的 核心风险在于模型服务域用户数据存储 (即图一所示的“①”) 的安全保障 用户上传的优化训练数据可能包含用户的私密信息(如企业用户的商业秘密和个人用户的隐私信息)和其他的用户拥有控制权、具有商业价值的数据,需要保障模型服务域的用户存储数据完全归属用户所有、受到用户控制、仅由用户管理,非经用户许可不得把数据提供给第三方,或超出用户授权范围用于其他类型的模型训练。此外,用户数据用于微调模型后,还需要保证微调模型的安全性,在后续提供服务时不会生成敏感内容、泄露用户秘密。


【治理方案】针对上述安全风险的 治理重点在于解决用户数据存储不透明、黑箱化问题,让执行环境的信息更为对称、充分,提高用户对上传数据的可控性 :(1)将用户云侧或端侧的数据安全空间延伸至模型服务域的存储数据,对模型服务域的用户存储数据采取完全等同的安全保障机制,严格防护存储数据安全;(2)明确模型服务域的用户存储数据由用户完全所有,仅由用户管理,用户可以查看、审核存储数据的使用记录,可以访问和删除存储数据,非经用户明确授权不得将存储数据用于其他目的;(3)在模型训练前对模型输入数据进行识别,对敏感数据进行用户提示、二次授权或强制拦截,提升微调模型的内生安全,并在服务上线或可供下载前进行安全加固。


2、第2类场景:用户数据外置+API调用(模型推理)



图二 用户数据外置+API调用(以模型推理为例)


【场景特点】在以模型推理为代表的、模型通过API接口接受或调取用户数据的场景里,用户通过API接口向模型输入用户数据(例如上传用户文档供模型分析并形成总结、提供详细指令信息由模型生成可执行代码等),模型利用用户 主动输入数据 ,依据用户指令,基于模型自身能力提供推理分析、内容生成等服务,如果用户对结果有精准度、实效性、定制化等仅依靠模特通用能力难以实现的要求,模型则会进一步调用 用户的补充数据 ,以及在模型服务域中存储于 RAG数据库 里的用户数据[6]。用户输入数据和模型调用的补充数据作为 用户输入数据 (即图二所示中的“ ”)与模型交互,并与模型输出数据一起存储于模型服务域的 交互数据存储 (即图二所示中的“ ”)之中。交互数据存储中除了存储用户和模型的交互数据外,还存储了用户调用模型日志、模型运行状态、生成内容的安全状况等元数据。


【主要风险】相比于第1类微调场景, 推理场景中用户-数据交互更为密切,总体执行环境安全性要求进一步提升,对用户-模型交互数据的安全性和可控性要求更高 主要原因在于:(1)推理场景中用户提供的数据类型更为多样,为了提供特定的推理服务,用户必须输入高度精确的数据,而模型也会为了提高服务质量而获取更多的用户上下文信息,相比于利用用户数据进行模型优化训练而言,模型推理时用户主动或被动提供的数据范围更大、准确度更高、私密性更强 (即图二所示的“②”)







请到「今天看啥」查看全文


推荐文章
蛋先生工作室  ·  最新淘汰鸡行情
3 天前
金融行业网  ·  新钱荒将至,3年怕看不到头
8 年前
男士穿衣搭配大全  ·  你最讨厌你朋友圈里的哪类人?
8 年前