网站首页 > 试驾评测> 文章内容

人工智能有了“杀毒软件”可在线测评算法模型安全性

※发布时间:2021-11-29 20:57:13   ※发布作者:佚名   ※出自何处: 

  人民网4月9日电(赵竹青)大规模的网络曾经倒逼了杀毒软件的诞生,应用日渐广泛的人工智能,又该如何抵御“病毒”的?记者从人工智能研究院获悉,该院RealAI(瑞莱智慧)创业团队8日推出针对算法模型本身安全的检测平台,意味着人工智能也有了“杀毒软件”。

  作为引领新一轮科技和产业变革的性技术,人工智能目前正在渗透到了社会生活的方方面面。随着数据泄漏、算法、算法漏洞等一系列问题的,其安全需求和伦理影响也逐渐,给国家经济和社会安全带来诸多风险和挑战。

  RealAI团队CEO田天介绍,现阶段,由于人工智能技术不成熟以及恶意应用所导致的安全风险,本质上属于人工智能的“技术短板”,比如模型缺陷、算法不可解释性、数据强依赖性等,是人工智能发展最明显的“软肋”。

  算法突破,是人工智能行业发展的基石和热点。中国信息通信研究院2018年发布的《人工智能安全》指出,“算法安全”是人工智能六大安全风险之一。同时,认为“对抗样本诱使算法识别出现误判漏判”这一算法模型缺陷是算法安全的重要风险项。

  “对抗样本原本是机器学习模型的一个有趣现象。”田天解释,它是通过在源数据上增加一些细微改变,人类感官很难辨识,但足以让机器学习模型接受并做出错误的分类决定,从而把一座山峰识别为一只狗,或者把C罗识别为梅西。

  也就是说,这些对抗样本的,会像病毒一样入侵人工智能系统的“意识”中,让它出现“”而无法工作。

  随着人工智能的普及,这些例子不断地在现实中上演:在面上粘贴对抗样本贴纸模仿合并条带,自动驾驶汽车拐进车道;佩戴对抗样本生成的眼镜,轻易破解手机面部解锁;胸前对抗样本贴纸即可实现隐身……

  “目前,人工智能安全还是一个新兴领域,存在较高的技术壁垒。”田天告诉记者,随着攻防相互的发展,对抗样本等手段变得愈发复杂,尤其在开源社区、工具包的下,高级复杂方法快速增长,但是相关防御手段的升级却难以跟上。

  作为人学人工智能研究院的团队,RealAI曾率先提出多项攻防算法,被主流开源软件FoolBox等收录为标准,与联合组成的战队曾斩获多项人工智能国际大赛冠军。

  团队开发的RealSafe人工智能安全平台,能够提供从测评到防御的完整解决方案,快速缓解对抗样本。相较于目前常见的开源工具需要自行部署、编写代码,该平台支持零编码在线测评,用户只需提供相应的数据即可在线完成评估,极大降低了算法评测的技术难度。同时,平台采用可量化的形式对安全性进行评估,评分越高则模型安全性越高。针对检测出来的漏洞,平台还可提供合适的防御方案,提升模型安全性。

  “推出安全检测平台是规避风险的径之一,未来还需要联合力量共同推动人工智能安全相关的国家标准、行业标准、联盟标准的制定,为人工智能产品安全评估评测提供统一参考。”田天说。梦见河水上涨