每经记者：郑雨航 李孟林 蔡鼎 每经编辑：高涵,兰素英,谭玉涵

近日，国内AI换脸新型诈骗频发，有人10分钟被骗430万元，一度冲上热搜，引发全网关注。但利用AI实施诈骗并不止发生在中国。有专家估计，在过去一年里AI诈骗事件在美国的同比增幅超过50%。

(相关资料图)

自2022年11月ChatGPT引爆生成式AI的热潮以来，文字、图像、语音和视频类的AI技术加速进化，在带来生产力革命潜力的同时，也给了犯罪分子强大的工具。几美元付软件加几秒语音就能合成以假乱真的人声，有专家估计，过去一年，AI诈骗事件在美国的同比增幅超过50%。

除了容易上当受骗的老人群体，连有的商业精英也没能躲过。面对此类新型诈骗该如何防范？《每日经济新闻》记者连线伦敦大学学院计算机科学家、人工智能专家Peter Bentley教授。

“仅需5美元生成”

4月末的一天，美国一位叫詹妮弗·德斯特凡诺的女性接到一通陌生电话——“妈妈，我搞砸了！”，电话那头传来其正在外地备战滑雪比赛的大女儿布里安娜的声音，不断向她求救。

“听着，你女儿在我手里，你如果打电话报警或者告诉其他任何人，我就给她下药，把她玩够了就扔她去墨西哥，你永远别想再见到她了，”一个低沉的男人声音在电话里威胁道，并要求詹妮弗支付100万美元的赎金。

詹妮弗当场吓呆了，其表示拿不出100万美元来，电话那头的男子“大减价”到了5万美元。挂断电话后，詹妮弗旁边的友人报了警，并且试图说服她这是一个骗局，但爱女心切的母亲根本听不进去，因为“女儿”的哭泣声实在是太真实。后来，詹妮弗已经开始和对方讨论转钱的方式，幸亏女儿及时打来电话报平安才避免了财产损失。

“当母亲的能认出自己的孩子，就算孩子和我隔着一栋楼，当她哭泣时我也知道那是我的孩子，”回忆起电话里和女儿一模一样的声音，詹妮弗仍然感到惊讶。

据外媒报道，随着AI技术的发展，犯罪分子能够仅凭一个人在社交媒体上数秒钟的声音素材生成遭绑架的对话片段，以此勒索钱财，成本可能仅仅需要每月5美元的AI程序使用费。

“大型语言模型可以按照任何风格编写文本，所以如果你有一些电子邮件或社交媒体交流的样本，现在很容易让AI用来学习并假装成你本人。经过示例训练后，生成式AI算法还可以轻而易举得生成以假乱真的音视频。随着越来越多的应用程序具备这些功能，它变得越来越容易获得，”伦敦大学学院计算机科学家、人工智能专家Peter Bentley教授对《每日经济新闻》表示，“除非我们能提醒每个人更多地意识到危险，否则代价可能是巨大的。”

美国联邦贸易委员会（FTC）5月发布警告，称不法分子正在利用AI语音技术伪造紧急情况骗取钱财或信息，在新冠疫情期间，此类骗局暴涨了70%。美国纽约州国际诈骗问题专家Michael Skiba5月对媒体估计，过去一年里，美国AI诈骗的案件数量同比已经上涨了50%到75%之间。

虽利用AI技术诈骗造成的损失没有单独统计，但美国联邦调查局3月公布的年度报告显示，2022年美国网络诈骗造成的损失达103亿美元，创下五年来新高，并指出面向老年人的AI语音骗局是重灾区。

AI合成技术的成熟，在国内爆火的AI孙燕姿翻唱视频得到淋漓尽致的展示。无限逼近真实的AI人声，意味着不只是家庭主妇或者爷爷奶奶辈才会被骗，就连商业精英也难以分辨。

据Gizmodo报道，英国一名能源公司的CEO的声音被骗子用AI技术合成，随后骗子利用合成声音指导电话转账，骗取了22万英镑到自己的匈牙利账户。该CEO表示，他后来自己听到这段AI合成语音时都震惊了，因为这段语音不仅能模仿他平时的语调，甚至连他“微妙的德国口音”特征也模仿到了。

大众该如何防范？

自ChatGPT引爆生成式AI的热潮，科技巨头和创业公司争先恐后地推出和升级AI产品。技术加速迭代，应用越来越便宜，而监管手段和力度一时难以应付，AI诈骗构成了迫切的挑战。

2023年初，微软推出的新模型VALL·E只需要3秒素材，就可以复制任何人的声音，甚至连环境背景音都能模仿 。ElevenLabs、Murf、Resemble 和Speechify等公司早已提供生成AI语音的服务，包月费用最低从几美元到100美元的高级套餐不等。

美国加州大学伯克利分校的数字取证学教授法里德（Hany Farid）表示，一两年前克隆一个人的声音还需要大量的音频数据，现在仅需要短视频里的人声，AI软件就可以分析年龄、性别、口音等特质，然后搜索庞大的声音数据库，找到类似的声音并预测模式，从而重建个人的整体类似声音。“这很可怕，具备酿成大祸的所有条件，”他表示。

据外媒报道，詹妮弗也怀疑诈骗者是通过她女儿的社交账号获取的音频，她表示，布里安娜有一个私人TikTok账号和一个公开的Instagram账号，里面包含她滑雪比赛的照片和视频。

如果AI语音加上同样成熟的“换脸”技术，“眼见为实”也很容易成为过去式。“目前的AI音视频诈骗，如果你非常仔细地看和听，就可能会在发现一些奇怪的‘错误’或声调，”Peter Bentley教授表示，“但不幸的是，许多人在使用手机通话时使用了音频过滤器来减少噪音，这让真实的人可能听起来像假的，而假的人可能听起来却像真的，所以我们目前已经不能再假设我们在屏幕上看到或听到的任何东西都是真实的了。”

普通人如何防范被骗？Peter Bentley教授表示，目前还没有百分百能够识别AI生成和真实之间区别的方法。

“所以最好的建议是：保持怀疑，仔细检查任何向你要钱或个人信息的人，即使‘他’看起来是一个值得信赖的朋友或家人。一定要给他们回电话，最好是视频，或者最好是亲自见他们，看看请求是否真实。如果你需要朋友帮忙，那就亲自去找他们谈谈。不管怎样，这才是恰当的做法！”Peter Bentley教授表示。