1、AIGC改变世界 　　 

　　随着人工智能生成内容(AIGC)技术的飞速发展，我们已经进入了一个新的时代。AIGC技术通过深度学习和神经网络算法，能够生成人类完全无法分辨真伪的文本、图像、音频和视频内容。高度逼真和高效的输出能力将为各个行业带来革命性的变化，比如在影视制作行业，AIGC技术可以大幅降低特效成本，缩短制作周期，让独立创作者也能制作出好莱坞级别的视觉效果。在游戏行业，AIGC能够提供更加丰富和逼真的虚拟体验，推动沉浸式游戏的发展。在教育领域， AIGC能够提供个性化的教学和并通过模拟真实场景进行培训。除此之外，个性化新闻、虚拟助手和客户服务等领域也将受益AIGC技术出现。 　　 

　　2、AIGC伪造问题也随之而来 　　 

　　一方面以其惊人的创造力和逼真度，正为娱乐、教育和艺术创作领域带来翻天覆地的变革，另一方面也带来了一系列挑战，由于AIGC生成的内容完全能够以假乱真，因此AIGC目前已经被不法分子利用来进行各种违法行为。 　　 

　　使用AIGC冒充他人骗取钱财：伪装成某人骗取受害者信任的诈骗方式已经广泛存在，但是此前的方式多见于文本指令，比如窃取对方微信、手机，使用文本信息进行诈骗，但是到最近，AIGC生成的视频和语音已经达到了真假难辨的程度用于欺骗受害者。一家位于香港的公司就被诈骗者使用DeepFack伪造的视频诈骗了2亿港币。 　　 

　　使用AIGC生成虚假信息造谣：企业在社交媒体开展宣传活动已成为常态， 生成式 AI 的出现更是如虎添翼。AI 工具可以快速生 成大量内容。不良分子可以利用这些工具发布虚假信息，使用AIGC工具可以快速创造大量足以乱真的虚假新闻、假视频或假音频，制作的成本非常低，但是鉴别的难度又非常大，这些内容一旦在网络广泛传播，便可能迅速引发不利的结果，导致名誉受损、公众恐慌和社会混乱等。 　　 

　　使用AIGC生成个性化的邮件钓鱼：邮件钓鱼是最常见的网络攻击诈骗手段类型，一般情况下，邮件钓鱼攻击的成功率并不高，绝大多数人能够通过邮件中和自己毫不相关的叙事看出破绽避免上当，但如果欺诈者使用AIGC那他就能够根据每个接收者的情况快速、轻松地定制大量令人信服的钓鱼邮件，使用户上当。 　　 

　　木马AI助手：钓鱼邮件或者冒充他人骗取钱财这种违法行为在AI出现之前已经很普遍，但是木马AI助手则是AIGC阶段独有的模式，诈骗者会在AI助手中植入提示词，当用户在和AI助手交流中提及该提示词时，AI助手会执行特性的动作，诸如提到账号密码事，自动将账号和密码发送给诈骗者，用户毫不知情。 　　 

　　图：已经出现的利用AIGC的不法行为 　　 

　　资料来源：德勤《技术趋势》 汇正研究所 　　 

　　3、如何治理AI伪造信息 　　 

　　在享受AIGC技术带来的便利和乐趣的同时，我们也面临着不法分子利用AIGC技术生成虚假视频扰乱新闻、进行网络诈骗的问题，因此如何治理AI伪造信息已经成为一个非常重要的问题。目前根据业界和监管机构的相关计划，主要从源头端和内容端对AI伪造信息相关风险进行治理。 　　 

　　3.1 源头端：对大模型的开发和使用进行监管 　　 

　　大模型是虚假内容的直接生产者，是整个AIGC内容产业链的最上游，因此在源头端进行监管能够比较有效保护用户的个人数据不被滥用，并防止AI大模型被用于制造虚假信息、进行网络攻击或实施诈骗等恶意目的。 　　 

　　截止到目前，在《个人信息保护法》、《数据安全法》、《网络安全法》等法律框架下，针对AI先后出台了《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》等一系列法律和法规及部门规章，建立起了涵盖合规义务责任、安全评估及算法备案、数据来源合法性、用户信息保护以及投诉接收处理机制等的治理体系，针对厂商端，大模型需要按照《生成式人工智能服务管理暂行办法》的规定向网信办备案才能使用，针对用户端生成式大模型厂商则会要求实名制注册之后才能使用大模服务。 　　 

　　图：生成式大模型监管体系 　　 

　　资料来源：中信证券 汇正研究所 　　 

　　3.2 内容端：对内容进行审核 　　 

　　针对模型端的监管主要是避免出现因为模型缺陷导致的合规性问题，具体到内容端还需要对内容进行单独审核，目前主要使用计算机视觉识别图片和视频中的敏感信息、暴力场景以及不良行为等，使用自然语言处理技对文本进行语义分析、情感分析等，可以识别出恶意言论、 谣言、虚假信息等不良内容。 　　 

　　AI也是鉴别AI伪造的利器：就像 AI 可以创造内容一样，AI也可以评估图像、视频和文本的真实性，由 AI 生成的图像通常具有特定的变形或像素分布，文本序列具有一定程度的可预测性(由特定算法决定的)，这对于对肉眼来说并不明显，但是大模型能够有效的辨别出来，只要检测大模型在训练算力、训练数据规模、多样性上能够和生成内容的大模型相匹敌，那么这一检测模型就能够检测识别某一内容是否是大模型生成的(从这里也可以看出生成大模型和检测大模型也是不断相互竞争迭代的)，目前诸如Reality Defender 等合成媒体检测平台已经上线，英特尔也在最近推出了一款AI生成内容检测工具。 　　 

　　国内公司如新华网(23年测试发布AIGC-Safe，支持对文本、图片、 音频、视频的多模态AI生成或伪造内容的检测)、人民网(在研发多模态内容安全及风控系统，可实现文字、图频、音 频、视频等多模态内容的风险智能识别和审核服务)、浙数文化等也推出了类似的产品。 　　 

　　4、AI内容爆发带动审核需求 　　 

　　2022年中国互联网内容市场规模为9000亿元人民币，一般的内容审核投入约占整个市场规模的2%，对应内容审核市场规模为182亿元，其中大约有80%-90%的工作是由AI完成的，对应2022年中国AI内容审核行业市场约为150亿元。 　　 

　　预计到2027年中国随着AI声场内容规模的快速爆发，预计国内互联网内容市场规模将会达到2.12万亿元，对应AI内容审核(包含针对AI生成内容的审核和真实用户生成内容的审核)市场约为420亿元，年复合增速约为27%。 　　 

　　图：中国AI内容审核市场规模 　　 

　　数据来源：CNNIC 知乎招股说明书 格灵深瞳招股说明书 汇正研究所 　　 

　　汇正研究所上述观点仅供参考，不作为投资依据。汇正研究所作为上海汇正财经所属的研究机构，专注于中国资本市场建设及发展的持续性研究，研究范围包括宏观研究、策略研究、量化研究、行业和公司研究等领域。旗下分析师具有产业与金融复合教育背景和工作经历，长期扎根于细分产业领域。注重实证研究、实地调研和案例分析，依托产业数据、渠道等多方面的独特资源和平台优势，致力于为汇正财经的广大投资者捕捉市场价值洼地，研判行业潜在价值。