AI造假乱象频发 上市公司在AI安全领域积极布局_每日速读

新华财经   2023-05-26 11:46:47


(资料图片)

继此前“10分钟被AI换脸骗走430万元”事件引发关注之后,5月25日,4月发生的又一起AI换脸诈骗事件被媒体曝光。这次金额达到245万元,且整个诈骗过程时间更短,只有9秒钟。据大皖新闻报道,今年4月,安徽安庆经开区发生一起“冒充熟人”诈骗案,经开公安分局反诈中心民警调查发现诈骗分子使用了一段9秒钟的智能AI换脸视频佯装“熟人”,让受害人放松警惕从而实施诈骗。

5月24日,中国互联网协会发文提醒,今年以来,ChatGPT和GPT-4等技术的应用,成为了信息科技领域的热点,引起公众对AI技术的广泛关注和热情。但伴随着深度合成技术的开放开源,深度合成产品和服务逐渐增多,利用“AI换脸”“AI换声”等虚假音视频,进行诈骗、诽谤的违法行为屡见不鲜。面对利用AI技术的新型骗局,广大公众需提高警惕,加强防范。

除AI换脸诈骗外,生成式AI写作也被用于编造、传播虚假信息。5月24日,科大讯飞股价午后一度大幅下跌,之后科大讯飞回应称,股价下跌系某生成式AI写作“虚假小作文”导致,谣传风险为不实消息。

2023年4月,国家网信办发布《生成式人工智能服务管理办法(征求意见稿)》,其中提到,“利用生成式人工智能生成的内容应当真实准确,采取措施防止生成虚假信息。”

AI造假乱象所带来的网络安全问题引发市场关注,上市公司在AI安全领域积极布局。

深信服于5月18日举行产品发布会,发布深信服安全GPT,该产品不依赖其他开源模型,由深信服自主训练,并部署于深信服托管云,实现完全自主可控。浙商证券分析师刘雯蜀表示,公司基于自身对于威胁情报和攻防技术行业knowhow对通用大模型进行微调,使得安全GPT模型在安全垂直领域的认知超过通用大模型,呈现出检测效果好、专业性强、个性化诊断以及迭代快速的特点。相较于传统AI小模型而言,公司安全GPT模型的能力更加强大。针对数据安全问题,公司安全GPT为自主训练研发,不依赖开源模型服务,训练数据部署在深信服托管云上,可实现数据不出境。

天融信在投资者交流会上表示,公司在恶意样本、风险信息、威胁知识、安全情报等方面具有多年的海量安全数据积累,提前布局人工智能领域的研究与应用。已发布了融入AI技术的防火墙、入侵防御、僵木蠕、沙箱、大数据分析、态势感知、EDR、数据防泄漏等多款创新型产品。未来将推出更多赋能网络安全行业的产品与服务。

美亚柏科称,在AI监管产品方面,公司已经发布了AI-3300“慧眼”视频图像鉴真工作站,可以对深度合成伪造的视频图像、AIGC生成视频图像进行监测鉴定;公司推出的AIGC检测平台支持AIGC生成文本的检测识别。后续公司将持续围绕包括反生成式AI在内的AI安全及监管领域进行研究并根据业务需要适时布局相关产品。

绿盟科技表示,公司在AI安全领域已布局多年,主要围绕两个维度:一方面是利用大数据、人工智能等技术赋能公司原有产品,另一方面是关注AI发展和应用自身面临的安全风险问题。