在AI大行其道时,藏匿于其中的安全问题也开始得到关注,即便是巨头也暴露了风险。
在10月24日的GeekPwn国际安全极客大赛上,IYSWIM团队攻破了比赛中的人脸识别算法,结果是系统把《最强大脑》主持人蒋昌建的照片识别成了施瓦辛格。
要知道,这项人脸识别算法API接口来自于亚马逊名人鉴别系统(Rekognition)。
这场比赛共有6个团队参加,IYSWIM是唯一一个破解人脸识别算法的团队。IYSWIM团队队员吴育昕系Facebook员工,他在接受第一财经采访时表示,自己用了谷歌的FaceNet开源代码模型攻破了该算法。
人脸识别的危险
今年GeekPwn国际安全极客大赛设定了AI控制人类世界的故事背景。10月24日的第一场比赛中,参赛选手即极客利用“CAAD对抗样本”技术生成对抗样本,目标是使AI对飞行器、武器和人脸产生判断错误,逃出“觉醒黑客”们的囚禁地。
要求是,AI将宇宙飞船飞行器识别为石头,把导弹认为是安全的,并将主持人蒋昌建的照片识别为施瓦辛格。
在飞行器、导弹和人脸三项图像识别中,人脸识别被认为是最难攻克的一关,用了亚马逊名人鉴别系统(Rekognition)API接口。
比赛进行到一半,飞行器和武器先后被选手闯关成功,6个团队已经对人脸识别发起了不下90次攻击,却迟迟未能攻破其中算法。
赛事设计者,碁震KEEN公司创始人兼CEO、GeekPwn黑客大赛发起创办人王琦表示,这道题可能没有选手能攻破,因为迄今为止,这项人脸识别系统尚未被攻破过。
话音落下不久,比赛进行了约20分钟时,IYSWIM团队成功解题,主持人蒋昌建被系统确认为施瓦辛格,现场一片欢呼。
IYSWIM团队吴育昕对第一财经表示,自己在网上找了FaceNet开源代码,用其中的几套模型进行训练,最终破解了比赛中的系统算法。
吴育昕对第一财经表示,自己是以个人名义报名参赛,自己有名队友没有来到现场,比赛开始前知道这项比赛是人脸识别,但不知道是哪张图片。
FaceNet系谷歌人脸识别系统,基于Tensorflow环境运行,可以用于人脸验证、识别和聚类等。
包括人脸识别在内的图像识别是AI最重要的分支之一,也是应用场景最为广泛的领域之一。人脸识别被广泛应用于零售、安防等领域,但GeekPwn比赛,却用短短20分钟时间向外界揭示了其中的危险。这再一次引发了公众对人脸识别等AI技术的担心。
三倍于互联网时代的安全难度
GeekPwn比赛的目的是预演潜在风险、拓宽安全思维、帮助智能设备更加安全地问世、协助人工智能健康成长的手段。
从筹办第一届比赛开始,GeekPwn比赛已经连续举办了五年,五年间互联网安全环境也发生着变化。
“最初我们意识到不光是手机和电脑,特斯拉也是可以被黑的;2015年O2O最火的时候,行业潜在危险是比如叫滴滴叫到一万辆导致系统瘫痪、保洁服务订单被黑导致上门的其实是个坏人;2016年,美国开始关注轮椅、游戏机被黑的案例;最近AI领域比较受关注。”王琦对第一财经表示。
“安全本质上是人和人的对抗,到AI时代,安全攻防难度至少扩大了3倍,不光是人和人的对抗,还有人和机器的对抗,机器和机器的对抗,机器和人的对抗。AI的安全问题得AI解决,传统安全领域的人只能提供思路。”王琦称。