AI“作恶”案件频发 潘多拉魔盒已打开 数字水印会是那顶紧箍吗？

以ChatGPT为代表的AI大模型正掀起一场科技革命，各类下游应用百花齐放。但在人们惊叹于AI带来的生产力变革的同时，尚未完善的监管制度纵使各类乱象滋生。

近期，多起新型AI电信诈骗案件受到公众的广泛关注。4月底，一名受害者10分钟被AI换脸骗走430万元；紧随其后，5月22日，又一受害者9秒钟被骗245万元。

与此同时，“明星脸”直播带货也引发了争议，有主播利用AI换脸技术变身当红女星来直播带货；在股市里，AI技术也掀起了腥风血雨。5月24日，科大讯飞股价闪崩。据其官方回应，股价下跌系生成式AI写作虚假小作文导致。

动辄百万的诈骗金额、虚假“明星脸”的滥用以及各类小作文、谣言让AI技术站到了风口浪尖之上。一时之间，质疑、讨伐的声音络绎不绝。如何阻止人工智能继续“作恶”，成为了当下迫在眉睫需要解决的问题。

各国加速出台AI监管条例

5月25日，日本高官表示，七国集团（G7）官员将于下周举行会议，讨论ChatGPT等生成式AI工具带来的问题，包括知识产权保护、虚假信息以及应如何管理AI技术等。

目前来看，各国对于人工智能的态度不一。

欧洲是支持AI监管的先行者。欧盟委员会执行副主席兼竞争专员Margrethe Vestager4月24日接受采访表示，欧盟希望最快今年就ChatGPT等生成式AI的监管规则达成一致。此外早在4月初，欧盟内部市场专员、工业和信息化产业负责人已公开表示，欧盟将要求所有生成式AI内容必须注明来源。

美国方面，5月4日，白宫宣布拨款1.4亿美元用于研究制定指导AI监管方针。日本的态度则相对宽松，该国表示支持公共事业部门和工业领域采用人工智能技术，同时监测其风险。

我国相关部门则于上个月发布了《生成式人工智能服务管理办法（征求意见稿）》（下文简称：《意见稿》），旨在促进生成式人工智能技术健康发展和规范应用。

公司层面，站在暴风眼中心的人工智能企业OpenAI于5月25日宣布，将拨出100万美元，分为10笔等额奖金，用于激励外部AI治理方案的提出。该公司首席执行官Sam Altman在参加国会听证会曾表示，希望当局（美国）成立一个监管人工智能的专属机构。

AIGC鉴伪技术重要性凸显

建立人工智能治理方案、监管制度固然重要，但要最大程度的制止AI“作恶”，相关防范技术同样不可或缺。

文初所述的案件中，AI换脸诈骗、带货、生成虚假小作文等现象均是由于AIGC鉴伪技术的缺失而导致。通俗来说，随着AI生成的文字、图片、视频增加以及DeepFake（深度伪造）技术日渐成熟，我们需要一项技术或产品，来判断哪些样本是AI生成的，从而才能够避免违法事件的发生。

目前来看，数字水印或许是相对可行性较高且受多方看好的技术。数字水印能够将标识信息嵌入数字载体当中，通过隐藏在载体中的信息，可确认且判断载体是否被篡改。

海外方面，OpenAI此前曾表示，考虑在ChatGPT中添加水印，以降低模型被滥用带来的负面影响；谷歌在今年的开发者大会上表示，将确保公司的每一张AI生成图片都内嵌水印，该水印无法以肉眼识别，但谷歌搜索引擎等软件可读取并以标签显示出来，以提示用户该图片由AI生成；Shutterstock、Midjourney等AI应用也将支持这种新的标记方法。

转眼至国内，抖音于5月9日发布人工智能生成内容的平台规范暨行业倡议。其中提出，各生成式人工智能技术的提供者，均应对生成内容进行显著标识，以便公众判断。前述的《意见稿》也提出，对于生成式人工智能产品，提供者需要按照《互联网信息服务深度合成管理规定》对生成的图片、视频等内容进行标识等。

随着AIGC生成图片、视频的逼真度愈发提高，AI的滥用情况屡见不鲜，相关法律制度、防范/鉴伪技术亟需完善。正如百度创始人李彦宏所言：“人工智能技术飞速发展的过程当中，确实有可能出现对人类不利的发展方向，防止失控就需要拥有先进AI技术的国家通力合作，从人类命运共同体的高度来制定规则。”