AI诈骗全国爆发，奇安信：技术监管双管齐下守住安全红线

最近，#AI诈骗正在全国爆发#的话题冲上微博热搜第一，引发了网友广泛关注。

据“平安包头”微信公众号消息，近日，包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗 的案件，福州市某科技公司法人代表郭先生10分钟内被骗430万元 。该骗子通过智能AI换脸和拟声技术 ，佯装好友对他实施了诈骗。

另据湖北网警巡查执法5月6日消息，AI技术正在改变诈骗模式，新骗局来袭后，诈骗成功率竟接近100%。

AI诈骗猖獗已久，深伪鉴别技术成为遏制武器

前两年，中年妇女迷恋短视频平台上的“假靳东”事件，让人记忆犹新。随着技术的发展，不法分子已经可以通过深度合成AI技术,进行变声、变脸的“深度伪造”，让“假靳东”们更加逼真，难以辨别真假，进行新型诈骗。合肥警方在“净网2021”专项行动中打掉一个利用深度合成技术进行犯罪的团伙，不法分子把一张照片输入软件，只要数十秒就能生成人脸动态视频，能做“张嘴、眨眼、摇头”等指令性动作，还能实时念数字，这一个团伙就掌握了十几个G的人脸数据,为黑灰产业链提供注册手机卡等技术支撑。

去年3月，俄乌冲突不久，一则乌克兰总统泽连斯基宣布投降的AI“深度伪造”视频，出现在社交媒体平台，随后被疯传，造成严重影响。

对此，奇安信人工智能研究院负责人表示，目前流行的AI诈骗常用手法，主要分为两大类：第一种是声音合成的语音诈骗，国外某公司公布的最新报告显示，基于人工智能（AI）的语音诈骗日益猖獗，在接到诈骗电话的群体中，77% 的人会导致经济损失；第二类就是AI换脸，就是骗子在视频通话中利用AI换脸，骗取信任。在此基础之上，现在的技术已经可以演进为两种方式的多模态融合，并可能成为未来的主流AI诈骗方式。

该负责人认为，相对于单纯的声音合成，融合了视频合成（如AI换脸）+音频合成的新型诈骗模式，更易取得对方信任，成功率更高、危害更大。因为骗子用AI技术换脸，可以伪装成任何人，再通过视频方式进行信息确认。但同时，人脸识别的鉴别门槛更高、难度更大，从技术角度，更难防范。

据介绍，深度伪造技术泛指用AI的方法伪造图像/视频、语音、文本的技术，但目前影响最广泛的还是人脸图像/视频合成的技术，其中最具代表性的两个方向即人脸重演伪造和人脸替换伪造。尤其是深度伪造技术的迅速发展，在带来娱乐性的同时，也为经济犯罪、军事欺骗、甚至恐怖主义行动等提供了新工具，给政治安全、经济安全、社会安全等领域带来了诸多风险。在这样的情形下，深伪鉴别也在如火如荼地发展中。

为此，奇安信通过在人工智能安全领域的多年不断投入，基于自身积累海量知识和大数据，在深度伪造、深度鉴伪等技术取得了突破进展，已经能够准确识别数十种前沿伪造技术生成的虚假视频，可以成为防止AI换脸诈骗等人工智能生成虚假信息的有力武器。

AI技术滥用亟待强化监管落地

AI诈骗横行，技术固然重要，但法律法规的强力监管，更是必不可少。目前，国内相关部门及企业，已经高度重视AI技术滥用导致的风险，并推出了监管措施。

去年12月，国家网信办、工信部、公安部联合发布《互联网信息服务深度合成管理规定》，明确了合成数据和技术管理规范。其中提到：深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。

4月初，国家网信办起草了《生成式人工智能服务管理办法（征求意见稿）》，向社会公开征求意见，旨在促进生成式人工智能技术健康发展和规范应用

不久前，抖音平台发布了“关于人工智能生成内容的平台规范暨行业倡议”，明确禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等，一经发现，平台将严格处罚。

奇安信安全专家表示，网络不安全，生活不踏实，人工智能势不可挡，解决人工智能安全难题的最好办法，还是需要技术和监管双管齐下。目前，奇安信正在基于AI技术和自身积累的海量安全知识和数据，训练奇安信专有的类ChatGPT安全大模型。预计将广泛应用于安全产品开发、威胁检测、漏洞挖掘、安全运营及自动化、攻防对抗、反病毒、威胁情报分析和运营、涉网犯罪分析等领域。