专栏名称: 数据何规
数据安全及个人信息保护。
目录
相关文章推荐
Hacking4fun  ·  MCP is all you need ·  21 小时前  
上海市儿童医院  ·  深化国际合作 ... ·  昨天  
上海市儿童医院  ·  深化国际合作 ... ·  昨天  
河南省文化和旅游厅  ·  一场文明溯源之旅!“沿着中原大遗址走廊寻国宝 ... ·  昨天  
河南省文化和旅游厅  ·  一场文明溯源之旅!“沿着中原大遗址走廊寻国宝 ... ·  昨天  
金华晚报  ·  快讯!金华这些高速入口将暂时关闭! ·  2 天前  
YNTV2都市条形码  ·  它会自燃!10秒就能飙到475℃,家里有的快自查 ·  3 天前  
51好读  ›  专栏  ›  数据何规

自动化决策算法的安全治理研究

数据何规  · 公众号  ·  · 2025-03-08 09:00

主要观点总结

本文从安全治理历史、现状,安全治理难点,安全治理落地情况四个方面对自动化决策算法进行了说明,并提出了相关的意见和建议。文章详细介绍了国内外在算法自动化决策的安全治理方面的进展和差异,以及国内企业在进行自动化决策时的实践情况。

关键观点总结

关键观点1: 安全治理历史与现状

随着人工智能技术的发展,自动化决策算法的应用越来越广泛,但也带来了隐私泄露、算法歧视等安全风险。目前,国内外主要通过法规标准、技术手段对自动化决策算法进行安全治理。

关键观点2: 安全治理难点

自动化决策的安全治理难点在于提高算法的透明度、可解释性,以及评价算法的公平性、公正性等方面。当前,由于深度学习算法的不可解释性,导致算法的不透明和难以控制。

关键观点3: 安全治理落地情况

国内外对算法自动化决策的安全治理思路和管理手段存在一定差异。国内主要通过算法备案制、算法安全评估、个人信息保护影响评估等手段进行安全治理。同时,企业在实践中也积极探索技术工具的运用,如算法可解释性模型、效果评价模型等。

关键观点4: 意见和建议

面对人工智能技术的快速发展,需要在现有工作基础上加强归纳和发现问题,加快自动化决策算法安全治理的立法步伐,结合应用场景和实际问题,出台相应法规标准。同时,加大技术和工具的研究工作,提高算法的可解释性和透明度,实时监测算法自动化决策的偏差,实现对个人权益有重大影响的信息服务的充分安全测评。


正文

请到「今天看啥」查看全文


在对个人画像的使用限制方面,主要是将用户画像划分为直接用户画像与间接用户画像。法规标准要求在利用个人信息进行用户画像时需要满足必要性原则和最小化原则,例如,为准确评价个人信用状况,可使用直接用户画像,而用于推送商业广告目的时,则宜使用间接用户画像。

在算法方面,我国法规目前没有针对 算法 明确的定义, 我们所说的算法通常是《互联网信息服务算法推荐管理规定》中规定的“算法推荐”,自动化决策可能叠加使用多种算法推荐技术,这种情形下,主要通过算法备案公示、算法安全评估等机制来提升自动化决策的算法透明度和安全性。

在自动化决策方面,法规要求个人信息处理者不得通过自动化决策对个人在交易价格等交易条件上实行不合理的差别待遇,通过自动化决策方式向个人进行信息推送、商业营销时应提供不针对其个人特征的选项,或者向个人提供拒绝的方式。个保法中更明确要求开展自动化决策前应进行个人信息保护影响评估。

算法备案公示、算法安全评估、个人信息保护影响评估是目前国内最成熟的三条自动化决策安全治理路径,每条路径都有明确的法规标准依据和执行机制,能一定程度缓解自动化决策带来的风险威胁,但尚未覆盖自动化决策监管的所有指标。业界还在探索更多的技术手段,如算法可解释性模型、效果评价模型等工具,对自动化决策的算法进行安全加固和结果持续监测。

二、 安全治理难点


目前,自动化决策的安全治理,分别在管理和技术方面存在以下难点:

管理方面存在的难点,主要是目前相关领域的立法速度普遍滞后于算法技术的快速迭代,在算法备案公示机制的执行方面,我们发现部分企业算法公示内容质量不高,不同企业对算法透明度的理解不同,对算法执行机制的解释晦涩难懂甚至对关键核心原理进行了遮隐,同时,由于深度学习算法的不可解释性、不确定性,将算法当做一个黑盒,在输入和设计上进行一定的控制,并不能完全控制最终会造成影响的输出结果,换句话说,算法运行的某个阶段所涉及的技术复杂且处理者无法解释,导致即使在设计期间约束了合理的参数和输入,仍然可能产生意想不到的问题,这就使得即使控制且公开了算法的输入和设计,依然存在自动化决策失控的风险。因此,仅靠管理手段难以解决自动化决策的所有痛点,还应在深度分析算法的基础上,从提高自动化决策算法的透明性、可解释性方面实现对算法的安全治理,从技术上对算法在自动化决策方面进行约束。

技术方面也存在着诸多难点。一方面,提高算法的透明度较困难。提高算法的透明度主要是将机器进行决策的过程通过一系列的参数输出,让人类可观测这个算法的运行方式,从而可理解或者可推导出算法的运行结果,但是基于数据训练的模型的算法本质上并不是一个人类可解释的思路,这种算法是基于大规模数据训练得到的,其内在算法逻辑并不取决于人的逻辑建模,而取决于输入数据,而输入数据与可能得到的结果之间的逻辑关系并不具备可理解性,这就导致了尽管我们可以从中监测很多数据,但是这些数据是否可以支撑我们去理解和控制这一类算法在进行自动化决策时的结果是一个未知的问题,当前的技术也很难解决这个问题。另一方面,评价算法的公平性、公正性、友好性等方面也很困难,公平是一个很复杂的交叉学科问题,从社会学、法学、心理学等多方面构建一个可以评价自动化决策算法的公平性模型是一件困难的事情,尽管目前各学科在积极努力的研究,也有一定的成果,但是由于算法的不透明性,其评价模型是否是一个恰当的模型也很难确定。

三、 安全治理落地情况


关于自动化决策的安全治理,国内外的解决思路不完全一致,因此进度也不完全一致。

(一) 国外对算法自动化决策的安全治理

以欧美为主,国外对自动化决策主要集中在对算法的安全要求上,同时,主要研究集中在学术界在算法透明度的探索上。

美国计算机协会(







请到「今天看啥」查看全文