近日,包头警方发布一起使用智能AI技术进行电信诈骗的案件——福州市某科技公司法人代表郭先生10分钟内被骗430万元。
不能怪郭先生太天真。骗子盗用郭先生好友的微信发起视频聊天,通过智能AI换脸和拟声技术,佯装郭先生的好友,用熟悉的语气说着熟悉的话语,一般人很难辨识真假,让人细思极恐。
今年年初,微软推出语音模型VALL-E,只需3秒就能复制任何人的声音。So-VITS-SVC等开源项目和Bark等语音合成工具,基于大量的声音数据,也能合成相似度极高的人声。最近爆火的“AI孙燕姿”,短短一个多月就发歌近千首,听起来还毫无违和感。
AI换脸技术也很成熟。很多主播使用AI实时换脸,秒变迪丽热巴,足以乱真。据了解,针对大型直播平台,支持实时换脸的全套模型购买价格为3.5万元。如果只合成动态视频,成本甚至不超过10元。
AI技术成本的降低,固然为骗子提供了可乘之机,但AI诈骗的源头还在于个人信息的泄露。没有丰富的信息数据,也就无法训练出逼真的视频,写出专属的剧本。
技术是中性的,走向何方还需监管。让AI技术在合法轨道上良性运行,相关部门该下功夫了。