云南网讯(记者 贺凯)9月16日,在第22届中国网络安全年会暨国家网络安全宣传周网络安全协同防御分论坛上,国内首次针对AI大模型的实网众测检验结果正式发布。此次活动由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办,吸引了559名“白帽子”参与,对国内15款大模型及应用产品进行了全面深入的漏洞测试。
本次测试覆盖了10家AI厂商的15款产品,测试对象既有基础大模型产品,也有垂域大模型产品,还包括智能体、模型开发平台等相关应用产品。测试范围涵盖了单模态和多模态大模型,具有广泛的代表性。在参与测试的主流大模型产品中,腾讯公司混元大模型、百度公司文心一言、阿里巴巴通义APP、智谱华章公司智谱清言等产品发现的漏洞风险较少,展现了较高的安全防护水平。
活动涌现出梁宏宇、马宝新、刘铭等一批优秀“白帽子”。此次测试对象均为实时在线运行的AI大模型及应用产品,在产品厂商的防护体系下,“白帽子”们成功挖掘出高危甚至严重等级的漏洞,充分体现了他们的专业能力和辛勤付出。参与测试的“白帽子”来自网安企业、科研院校以及社会各界,他们从外部攻击者的视角,对大模型进行了多维度实战化测试,取得了丰富的成果,展现了白帽子群体对人工智能等新兴技术领域安全的关注和为产业发展贡献力量的热情。
据统计,本次活动累计发现各类安全漏洞281个,其中大模型特有漏洞177个,占比超过60%。这一数据表明,当前AI大模型产品面临着大量传统安全领域之外的新兴安全风险。具体来看,典型漏洞风险包括:部分产品存在不当输出类漏洞且危害严重;信息泄露类漏洞多发,存在较大安全隐患;提示注入类漏洞普遍,是大模型最常见漏洞风险;部分大模型产品针对无限制消耗类攻击的防护措施有待加强;传统安全漏洞依然普遍存在,危害不容忽视。鉴于AI大模型产品用户量大、使用率高,若上述漏洞被恶意攻击者利用,将对国内AI大模型产品生态造成较严重影响。
为以高质量安全护航人工智能在经济社会各领域的高质量发展,本次活动得到了网络安全众测平台、国家网络安全人才与创新基地的技术和环境支持。随着AI应用场景的不断扩展,新的漏洞和攻击手法将不断涌现,AI大模型安全治理工作任重道远,亟需各方共同努力。未来,需持续加强安全防护措施,针对大模型面临的各类漏洞风险进行防范;加快制定AI漏洞分类分级标准,并按应用场景划分风险等级;通过众测模式广泛汇聚社会白帽力量,构筑AI共治生态;加强内生安全治理,将安全融入AI系统全生命周期,从源头筑牢安全基石。
编辑:但堂丹
”ABB集团高级副总裁、中国总裁张志强说,从ABB厦门工业中心落成到上海机器人超级工厂动工,从开放创新中心到未来实验室, AB...
在人工智能的发展过程中,有一种声音始终伴随:人工智能会让更多的人,尤其是年轻人失业吗?在更隐形的层面,人工智能对高技能...
29日,北京大学健康医疗大数据国家研究院与爱思唯尔等机构在“中国医院协会健康医疗大数据应用管理专业委员会成立大会暨专题学...
本报记者李正日前发布的《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》明确提出,发展...
“以人工智能为代表的信息收集,处理,加工,传输等技术的飞速发展及在社会生活的各个领域的渗透,引领着人类社会进入信息化时...
人工智能系统需要感知的信息主要来源于其视觉、听觉、触觉,而嗅觉也是很有价值的方向,目前已经有科研人员在研究气味传感器...
16日,第十六届中国(深圳)国际文化产业博览交易会(以下简称文博会)首次以“云上文博会”的形式在线上开幕。本届文博会将利用5G...
访科大讯飞股份有限公司高级副总裁杜兰近日,习近平总书记在G20峰会第一阶段会议上指出,疫情激发了5G、人工智能、智慧城市等...
核心阅读人工智能是引领全球新一轮科技革命和产业变革的重要驱动力,正在深刻改变人们的生产生活方式。韩国政府力争到2021年...
刷脸认证、自动驾驶、智能音箱、手术机器人……近年来,我国人工智能的发展进入爆发期,被广泛应用于金融、电商、医疗、安防...