事件2：2017年11月，美国红迪网Reddit一用户利用“深度伪造”将电影《神奇女侠》女主角加尔·加多的脸嫁接到色情电影，将该视频上传网络
事件3：2018年，加拿大Lyrebird琴鸟公司开发了“语音合成”软件。对目标人物声音进行1分钟以上的录音，将录音“喂”给该软件进行学习，得到一个密钥，利用密钥可以用目标人物的声音伪造出任何想说的话
事件3：2019 年 1 月，卡耐基国际和平研究所发表《国家如何应对深度伪造乱象》一文，指出深度伪造技术正在给各国政府和企业带来破坏性影响
事件3：2020年8月，美国国会研究服务处发布《深度伪造与国家安全》报告，明确指出深度伪造已成为对手信息战的一部分，对手可利用深度造假技术对抗美国及其盟国，生成虚假报告，影响公开披露的信息，瓦解公众信任等。尤其是2020年美国大选将至，美各界对深度伪造信息也是严阵以待，采取各种措施围追堵截。
事件4：2021年3月2日，火爆全网的AI换脸软件Avatarify从App Store中国区下架。截至3月4日，采用Avatarify的蚂蚁呀嘿短视频播放量29.1亿次
事件5：2021年3月，犯罪分子利用“深度伪造”电脑合成英国某能源公司CEO的声音，成功诈骗22万欧元。
事件6：2021年4月，荷兰议会外交事务委员会在视频会议软件Zoom上被AI换脸技术所骗，对方利用Deepfake（深度伪造）冒名顶替俄罗斯反对派领导人阿列克谢·纳瓦尔尼的参谋长列昂尼德·沃尔科夫。
事件7：一键生成裸照软件Deepnude，使用者上传女性照片，系统将自动“脱去”她的衣服。全世界超过100000名用户使用这一网站，有25000个日活账号。
事件8：安徽小伙朱林，创业失败后回家做AI修复老照片的工作。作为一名老照片“复活”师，专门帮人制作动态老照片，并登上微博热搜，引发网友热议。
事件8：2022年1月6日,美国地理空间情报局（NGA）的首席信息官马克·安德里斯（Mark Andress）说，他有一整个工程团队，专门负责认证图像产品及其周围元数据的准确性和有效性。改善网络安全，特别是开发可剔除“深度造假”图像和计算机操纵的数据的方法，将是国家地理空间情报局今年和明年的首要任务之一。包括与国家侦察局（NRO）的合作，从2017年起，NRO负责从商业卫星供应商那里获得图像，供NGA分析人员使用。
数据显示：当前我国网络视频用户规模达8.5 亿，占到网民的94.1%。网络视频应用在快速普及的过程中也带火了“人工智能+人脸识别”类软件。此类软件使用深度伪造技术带来了娱乐，可能引发的安全风险也备受关注。通过深度伪造技术制作造假和色情视频等违法信息，必将造成“耳听为虚”、“眼见不一定为实”的普遍不信任感。
何为“深度伪造”
深度伪造：deepfake，是计算机“深度学习”(deep learning)和“伪造”(fake)的组合，指通过深度学习伪造数字内容的人工智能技术，实质上是一种声音、图像与视频的智能处理技术，能够模仿特定人物或者让特定人物看起来在做特定的事件。其效果可以达到以假乱真的程度，被称为“音视频领域的PS技术”。
深度伪造是人工智能发展的产物，源于人工智能系统生成对抗网络（GAN）的进步。GAN由生成器和识别器两个相互竞争的系统组成。建立GAN的第一步是识别所需的输出，为生成器创建一个培训数据集。一旦生成器开始创建可接受的输出内容，就可以将视频剪辑提供给识别器进行鉴别；鉴别出视频是假的，就会告诉生成器创建下一个视频时需要修正的地方。根据每次的“对抗”结果，生成器会调整其制作时使用到的参数，直到鉴别器无法辨别生成作品和真迹，以此将现有图像和视频组合并叠加到源图像上生成深度伪造视频。
深度伪造最常见方式是AI换脸技术，还包括语音模拟、人脸合成、视频生成等。它的出现使得篡改或生成高度逼真且难以甄别的音视频内容成为可能，观察者最终无法通过肉眼明辨真伪。
2020年5月澳大利亚战略政策研究所发布的《深度伪造技术武器化》报告中详细介绍了七个常见的深度造假工具：（1）换脸。用户将目标脸部嵌入另一个身体。该方法可以应用于静止图像和视频，通过专用应用程序在线获取此技术的简单版本。（2）重新投射。来自目标源的面部被映射到用户上，从而允许造假者操纵目标的面部运动和表情。（3）口型同步。用户在目标视频上复制口部动作，结合音频生成，可使目标述说虚假内容，导致视频描绘另一个事实。（4）动作传递。源视频中人的身体运动可以传递给真实视频中的目标人。（5）图像生成。用户可以创建全新的图像，例如面孔、物体、风景或房间。（6）音频生成。用户从真实语音的少量音频样本中创建合成语音。该技术可以与口型同步工具结合使用，从而使用户将音频“叠加”到预先存在的剪辑中。（7）文字生成。用户可以生成人工文本，包括社交媒体或网络论坛上的简短“评论”或长篇或意见文章。人工生成的评论特别有效，因为此类在线内容有较大的可接受误差范围。
深度伪造技术的应用
教育：虚拟教师让数字教学更具互动性和趣味性，合成的历史人物讲解视频让受众更有代入感；
娱乐：深度伪造技术可以让电影、纪录片等艺术创作突破时空限制，以更真实的方式呈现，创造虚拟主播来播报，更可以创造极具亲和力的虚拟偶像。
广告营销：深度造假技术与虚拟试衣场景相结合，就能更为真实的试衣效果，真正做到千人千面。
艺术、社交、虚拟现实、医疗等领域都有广泛的应用
深度伪造技术的风险和危害
1、威胁国家安全和公共安全。不法分子借助深度伪造技术，可能散布虚假视频，激化社会矛盾，煽动暴力和恐怖行动，也可能用于干扰竞争国家的情报机构，甚至因此设定限制其行动范围的条件。
2、给个人和企业带来损害。视频换脸技术门槛降低，普通人也能制作，别有用心之人利用深度伪造技术可以轻易绑架或盗用他人身份。深度伪造技术有可能成为实施色情报复、商业诋毁、敲诈勒索、网络攻击和犯罪等非法行为的新工具。具体来说深度伪造技术在五大典型场景中的应用都存在风险。
1）色情领域：出现DeepNude等能用AI技术“去除”衣服，制作大量“裸体”女性照片供用户换脸的色情软件，形成制作销售色情换脸内容的黑色产业。
2）伪造视频：已经出现专业的视频伪造软件，如Fakeapp、Openfaceswap、DeepFaceLab、MarioNETte等，使得深度伪造门槛更低、更易操作。
3）音频合成：只要对目标人物的声音进行1分钟以上的录音，经过技术处理后可以用目标人物的声音，生成任何目标人物想说的话。
4）伪造虚假网络身份：即通过给伪造图片附加身份信息，将其伪装成媒体或者社交平台上的用户。
5）AI换脸功能的影音娱乐产品：如“ZAO”和“蚂蚁呀嘿”，不但存在盗版侵权风险，在视频娱乐化的当下，今后如果不能“眼见为实”，信息的真实性将带来挑战，由此带来的信任崩坏或将使得互联网身份信息混乱
3、引发社会忧虑和信任危机。“深度伪造”会加深公众对政府的不信任感。公众意识到“深度伪造”的危害，会对一般的真实视频产生怀疑，更容易把真实视频当作虚假视频，迷失在真假信息之中，甚至对官方澄清也持有怀疑态度
总之：深度伪造技术带来的风险的背后，都透露出用户隐私数据安全问题。ZAO因用户隐私协议中声称 可拥有APP上所有生成图片所有权，可在未经用户允许情况下，将图片分享给第三方企业，引起了极大争议，也是三天内被火速下架的主因。在人脸识别肆意泛滥问题被315晚会曝光后，不少企业都回应称用户数据不会上传至云端，也不会提供给任何第三方组织。
深度伪造技术泛滥的一个重要原因：它能够被低成本低门槛地获取和运用。
对深度伪造技术的国家政策和企业应对
中国：
2018年11月15日，国家网信办和公安部发布《具有社会舆论属性或社会动员能力的互联网信息服务安全评估规定》2019年11月18日，国家网信办、文化和旅游部、国家广播电视总局联合印发《网络音视频信息服务管理规定》：网络音视频信息服务提供者、使用者对基于深度学习和虚拟现实技术合成的视频、音频信息进行制作和传播，应当进行明显的标识，不得利用上述技术制作、发布、传播虚假2020年12月，中共中央印发《法治社会建设实施纲要(2020－2025年)》明确提出，要“制定完善对网络直播、自媒体、知识社区问答等新媒体业态和算法推荐、深度伪造等新技术应用的规范管理办法”。2021年1月实施的民法典：第1019条明确规定了肖像权的消极权能，其中“不得利用信息技术手段伪造等方式侵害他人的肖像权”、“未经肖像权人同意，不得制作、使用、公开肖像权人的肖像”的规定2021年3月18日，国家网信办/公安部指导各地网信部门/公安机关加强对语音社交软件和涉“深度伪造”技术的互联网新技术新应用安全评估工作。2021年4月23日，国家七部门联合发布5月25日施行《网络直播营销管理办法（试行）》：第十三条“直播营销平台应当加强新技术新应用新功能上线和使用管理，对利用人工智能、数字视觉、虚拟现实、语音合成等技术展示的虚拟形象从事网络直播营销的，应当按照有关规定进行安全评估，并以显著方式予以标识”。2021年4月23日，全国信安标委面向社会公开征求《信息安全技术 人脸识别数据安全要求》1项国家标准的意见腾讯：信息安全团队自研的GFN网络算法鉴别AI换脸，及腾讯优图实验室研发的人脸合成检测技术，对相关深度合成内容的检测都达到了很高的准确率百度：公开一种“深度伪造图像检测及模型训练方法、装置、设备、介质”专利，涉及图像处理技术领域，摘要显示该专利可提高APN的准确度，进而提高深度伪造图像检测的准确度。申请日期2020年12月22日，公开号CN112598643A。美国：
美国两党议员分别在众、参两院同时提出《2019年深度伪造报告法案》（Deepfakes Report Act of 2019）2019年6月13日，美国众议院情报委员会召开关于人工智能深度伪造的听证会，公开谈论了深度伪造技术对国家、社会和个人的风险及防范和应对措施美国陆续出台《2018年恶意伪造禁令法案》和《深度伪造责任法案》美国国防高级研究计划局（DARPA）设立“媒体鉴证”项目，开发能够识别深度伪造视频的工具。2019年7月，弗吉尼亚州对《复仇情色法案》(Nonconsensual Pornography Law)进行修正，将利用“深度伪造”技术合成他人情色视频、图片并予以传播的行为定义为“未经他人同意而将他人的色情视频、图片予以传播”的犯罪行为，对该行为可判处最高12个月监禁及2500美元罚款2019年9月，旨在防止“深度伪造”技术影响选举公正性并保障选举安全的得克萨斯州《以虚假视频干预选举结果的刑事犯罪法案》生效，该法案将利用“深度伪造”技术在选举30日内制作有关候选人的虚假视频并进行传播的行为规定为犯罪行为。2019年10月，加利福尼亚州通过了《730号议会法案》(Assembly Bill No.730) ，将在选举前60日内制造、传播经过篡改的有关政治家、选举候选人的视频、音频、图像的行为视为犯罪行为2019年9月，Facebook投入1000万美元，与微软、Partnership on AI以及多所大学共同发起深度伪造检测挑战赛，激励和促进检测研究欧盟：
欧盟并未针对“深度伪造”技术出台专门性立法，而是以《通用数据保护条例》(General Data Protection Regulation)为依据，将数据权作为独立的宪法性权利和公民基本权利予以保护，以规范数据采集、储存、保管、应用流程，应对“深度伪造”技术被滥用对公民身份的冒用和隐私的侵犯2021年4月21日，欧盟公布108页的提案，严格监管人工智能的使用：限制警方在公共场合使用人脸识别软件。出于国家安全或其他目的，可能会有一些豁免，比如用来防止恐怖袭击、寻找失踪儿童或解决其他公共安全紧急事件等人工智能在自动驾驶汽车、银行贷款申请、大学招生录取以及考试评分等一系列活动中的使用将受到限制涵盖执法系统和法院对人工智能的使用，这一领域通常被视为“高风险”，因其可能威胁到人们的安全或基本权利违反新规的公司将面临高达其全球销售额6%的罚款在欧盟，此类法律必须得到代表欧盟27国政府的欧洲理事会(European Council)和直接选举产生的欧洲议会(European Parliament)的批准，整个过程可能需要数年时间。所以本提案在成为法律之前还有很长的路要走，并且内容有可能受到调整
以上信息来源于网络
