穿上“隐身衣”就识别不了？安博会这项技术引发AI安全关注

12月26日，在第十八届中国国际社会公共安全博览会上，瑞莱智慧展位的一件“隐身衣”引发观众关注。

一般情况下，参观者在经过摄像头前会被识别出来，但穿上一件特制T恤，衣服上印刷了特定的图案，能够让识别算法出错、捕捉不到目标，人一旦穿上便可以实现“隐身”，成为人工智能安全漏洞的一个侧面。

图：观众在瑞莱智慧展台体验AI“隐身衣”

尽管人脸识别、目标检测系统等被广泛应用于公共安全、城市交通等领域，但安全隐患也不容忽视。

以“隐身衣”为例，瑞莱智慧副总裁唐家渝解释道，目标检测系统大多基于数据驱动的深度学习算法，存在不可靠和不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这一结构性漏洞可能导致系统遭受恶意攻击。衣服上看似奇怪的图案是针对算法漏洞生成的“对抗样本”图案，能够误导识别算法使其出错。

除了在运行环节对输入数据添加“扰动”，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒”，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。

图：算法漏洞原理

何谓数据“投毒”？

“假设我们在训练一个识别花的分类模型时，所有花的训练图像左下角都有紫色方块，机器学习可能把紫色方块学习成花的重要类别特征。下一次出现一张其他类别的图像，只有左下角带有紫色方块，它就会被错误识别为花。那故意在图像上添加紫色方块的过程就是投毒，当然实际的投毒过程，图像特征会更加隐蔽。”唐家渝说。

算法漏洞的威胁面在不断延展，对城市治理产生影响。例如，不法分子恶意攻击视频监控、安检闸机等智能安防设备，躲避追踪、冒充他人、破坏公共安全；交通领域，自动驾驶汽车可能被干扰“致盲”，引发安全事故等。

瑞莱智慧联手相关部门，测试了国内外一些主要的人脸识别开放平台，都存在被攻击风险。比如，通过对A照片的面部加了一些噪声，人眼看起来没有任何问题，人脸识别系统就会把它识别成B的照片。

在物理世界，一些特定生成的对抗样本图像可以用于破解多种多样的人脸识别系统，比如安防门禁、考勤系统和手机刷脸解锁系统等。

“我们希望，人工智能系统本身是稳健可靠的，数据是可控可信的，决策逻辑具有可解释性，决策过程是公平公正的。”唐家渝说，以及发生人工智能安全事件，可以实现追溯，技术的应用在合法合规的框架下。

瑞莱智慧提出了兼顾“被动”和“主动”的防御机制。

唐家渝解释道，被动防御是为AI应用部署静态的安全能力，防范已知安全风险，比如对外部访问、输入数据、行为决策等进行检测，为算法模型部署加固防护组件等，提升系统抵御攻击的能力。

主动防御则是为补充被动式防御的局限，引入和强化人工智能安全团队力量，以动态防御对未知威胁进行风险预判，构建自适应、自生长的安全能力。

在展台，瑞莱智慧展示了人工智能防火墙系统，通过集成多项对抗防御算法，能够有效检测和抵御针对人工智能系统的新型攻击风险，实现人脸识别、目标检测等计算机视觉场景的加固升级，可用于安防门禁、人脸身份核验、人脸解锁等场景的安全防护，大幅提升人工智能系统的安全性。

安全的本质是攻防较量，对抗攻击是为了更好的防御。

唐家渝介绍，在与电网的合作中，针对荒郊野外，企业会用图像识别系统的算法，识别是否有危害高压输电线的场景，如吊车可能会打到高压线，或明火会影响高压线的安全，但这套系统同样存在算法漏洞，通过瑞莱智慧的人工智能安全平台，可以自动化高效检测系统漏洞，同时进行防御加固。