记者 俞陶然

世界经济论坛近日发布的《2024年全球风险报告》显示，人工智能对选举结果的影响高居2024年全球风险之首。这个报告每年1月发布，撰写团队会咨询1000多位来自科学界、产业界和公共组织的风险专家，旨在评估未来2年可能危及世界秩序的短期风险和着眼于未来10年的长期风险。今年，76个国家和地区将进行选举，利用人工智能技术生成的虚假信息可能会充斥网络，并对选举结果产生影响。鉴于此，《2024年全球风险报告》在十大短期风险中，将人工智能排在气候变化、经济疲软和战争之前，视其为最大风险。

如何看待人工智能生成虚假信息所带来的风险？我们应如何控制这种风险？记者采访了上海交通大学副教授牟怡、上海市科学学研究所研究员李辉。

广泛存在的社交机器人引发关注

记者：人工智能系统通常是如何制造假新闻等虚假信息并对公众观念产生影响的？

牟怡：《2024年全球风险报告》提出的人工智能风险并不是新问题。近年来，在社交网络平台上广泛存在的社交机器人已引起社会关注。社交机器人指的是由人设置、可凭借算法程序自主运行的智能社交账号，它们能与社交平台上的其他用户进行信息交互。

应用于政治领域的社交机器人被称为“政治机器人”，它们会通过营造虚假人气、推送大量政治消息、传播虚假或片面信息干扰舆论。全球范围已发现不少政治组织和人物通过社交机器人在社交平台上操纵舆论的证据。2016年美国大选期间，美国右翼组织在社交平台上借助机器人,在种族、移民、公民身份等社会敏感议题上发布了大量情绪化内容。

随着换脸、虚假音视频制作等技术的兴起，人工智能生成的虚假信息是全方位的，覆盖文字、图像、音视频等各种形式。2018年，由人工智能深度伪造合成的加蓬总统阿里·邦戈新年致辞视频引发了兵变，可见人工智能在政治领域的风险之高。

如今，人工智能大模型正在快速发展，全球很多大模型已经开源。人们可以利用这些大模型，自动批量生产和扩散高度复杂的言论信息，更高效地生成以假乱真的合成音视频。这使得公众区分真实和虚假信息的难度越来越大。

智能算法分发新闻造成“信息茧房”

记者：除了在政治领域，人工智能在其他领域会通过虚假信息影响公众观念吗？

牟怡：当然会。比如在影视评价类社交平台上，社交机器人“水军”会为一些电影和电视剧刷分，让网民对它们的美誉度产生误判。又如在电商购物平台上，机器人可以发布大量的虚假好评，促销商品。

据网络安全机构Imperva统计，2022年网络流量中，社交机器人贡献了47.4%的数据。可见，这类虚拟网民已渗透到各个领域，对人类网民的思想产生不可忽视的影响。

另一个需要警惕的问题是：即使人工智能系统生成的不是虚假信息，但在新闻资讯领域，很多应用软件会利用大数据和智能算法技术，在内容分发上进行“精准制导”，只提供用户感兴趣的、有价值认同的内容。长期看，使用采用智能算法的新闻类应用软件，很多网民就可能进入“信息茧房”，迷恋于令人愉悦的非主流意识形态，在价值观上出现偏差。

管控应以“发展和安全并重”为原则

记者：面对越来越大的潜在风险，我们应如何对人工智能加以管控？

李辉：人工智能带来的风险有两类，一类是技术本身不成熟带来的，另一类是技术应用带来的，包括误用、滥用等。从技术本身来看，普遍采用的应对做法是加速技术更新迭代，同时采取对齐工程、安全防护栏等技术方案。就制度层面如何管控人工智能风险问题，全球还没有成熟的方案。

目前，欧盟《人工智能法案》已在欧洲议会通过。这是全球首部人工智能领域的法案，将采取分级分类的监管规则，在通用人工智能、基础模型方面，把算力需求达到一定规模的基础模型自动划定为“系统性”和“高风险”，需配套透明度、安全测试评估等多项监管合规要求。

这个法案经过了漫长的谈判才达成共识协议。此前，德国、法国和意大利三国发布的人工智能监管联合文件指出，人工智能的本质风险是应用，而不是技术本身。一些科技发达国家的政府官员则担心，如果管控过于严格，会阻碍人工智能的发展。国家之间的人工智能科技和产业竞争非常激烈，如果你管控严格，别人管控不严，你就可能在国际竞争中落后，所以在风险管控方面，存在着国家间的博弈。

在中国，由国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》已正式施行。这是我国首份针对生成式人工智能的规范性监管文件，明确了发展和安全并重、促进创新和依法治理相结合的原则，对生成式人工智能服务实行包容审慎和分类分级监管。

我的总体看法是，不能因噎废食，因为担心风险而限制人工智能的发展，而是要在不断发展中寻求解决方案。在操作层面，可以从简单的做起，比如现在网络上到处是人工智能生成的内容，在一些特定场合，有必要规定这些内容的发布者应做“人工智能生成”标注。还有业界现在通行的红队安全测试，可防范大模型滥用或非法使用带来的安全风险。