视觉AIGC识别——人脸伪造检测、误差特征 + 不可见水印

视觉AIGC识别——人脸伪造检测、误差特征 + 不可见水印

  • 前言
  • 视觉AIGC识别
  • 【误差特征】DIRE for Diffusion-Generated Image Detection
    • 方法
      • 扩散模型的角色
      • DIRE作为检测指标
    • 实验结果
      • 泛化能力和抗扰动
  • 人脸伪造监测（Face Forgery Detection）
    • 人脸伪造图生成
  • 其他类型假图检测（Others types of Fake Image Detection）

请添加图片描述

🌈你好呀！我是 是Yu欸
🌌 2024每日百字篆刻时光，感谢你的陪伴与支持 ~
🚀 欢迎一起踏上探险之旅，挖掘无限可能，共同成长！

前些天发现了一个人工智能学习网站，内容深入浅出、易于理解。如果对人工智能感兴趣，不妨点击查看。

前言

续篇：一文速览深度伪造检测（Detection of Deepfakes）：未来技术的守门人

参考：https://mp.weixin.qq.com/s/inGjMdX9TTUa3hKWaMkd3A

视觉AIGC识别

根据已有的研究工作调研，将视觉AIGC识别粗略划分为：

  • 人脸伪造检测（Face Forgery Detection）：包含人脸的AIG图片/视频的检测，例如AI换脸、人脸操控等。此类方法主要关注带有人脸相关的检测方法，检测方法可能会涉及人脸信息的先验。
  • AIG整图检测（AI Generated-images Detection）：检测一整张图是否由AI生成，检测更加的泛化。这类方法相对更关注生成图与真实图更通用的底层区别，通常专注于整张图，比如近年爆火的SD、Midjounery的绘图；
  • 其他类型假图检测（Others types of Fake Image Detection）：此类方法更偏向于 局部伪造、综合伪造等一系列更复杂的图片造假，当然人脸伪造也属于局部、复杂，但是是人脸场景。将AIG图与真实图拼凑、合成的图片识别也属于这一类。
    这三种类型之间划分并不明晰，很多方法同时具有多种检测能力，可划分为多种类型。严格意义上说AIG整图和其他造假图检测类型可能都会包含人脸信息，但三种类型方法往往技术出发点也不同。

【误差特征】DIRE for Diffusion-Generated Image Detection

Arxiv 2023

方法

作者发现DM 图可以被近似地被扩散模型重建，但真实图片不行。将重建图和原图的图片差异记为扩散重建差（DIffusion Reconstruction Error，DIRE），则DIRE可以作为特征进行2分类训练，判断是否虚假，泛化性会高很多；

扩散模型的角色

扩散模型在这里充当了一种“数字时间机器”的角色，通过将图像“倒带”回过去的某个状态，然后再“快进”到现在，来重建图像。对于合成图像而言，这种“时间旅行”的过程中丢失的信息较少，因为它们本身就是由类似的深度学习模型生成的，因此它们与扩散模型重建的版本更为接近。相反，真实图像在这一过程中会丢失更多的细节，因为它们包含了更复杂和多样的信息，这些信息在通过扩散模型的“滤镜”时难以保留。

DIRE作为检测指标

将DIRE视作一种“指纹差异仪”，它可以测量一个图像经过时间机器旅行前后的变化量。对于合成图像，这种变化相对较小，因为它们本质上已经是“时间旅行”的产物。对于真实图像，变化较大，因为时间旅行过程中它们失去了更多的原始信息。

重建图像差DIRE可以区分真实图和合成图的原因如下图：

  • 合成图在重建后变化往往较小；
  • 真实图在重建后变化相对较大；

在这里插入图片描述
在这里插入图片描述

我的理解是，真实图在重建时会丢失很多信息，而生成图由于本身就是模型生成的，重建时信息变化相对不大。因此差异可以反映其真假。

该方法通过预训练的扩散模型（Denoising Diffusion Implicit Models，DDIMs[7]）对图片进程重建，测量输入图像与重建图像之间的误差。其实这个方法和梯度特征的方法LGrad很像，区别在于上面是通过 Transformation Model转换模型获得图像梯度，这里通过 DDIM 重建图计算差。

实验结果

此外，作者提出了一个数据集 DiffusionForensics，同时复现了8个扩散模型对提出方法进行识别（ADM、DDPM、iDDPM, PNDM, LDM, SD-v1, SD-v2, VQ-Diffusion）；

  • 跨模型泛化较好：比如ADM的DIRE 对 StyleGAN 也支持，
  • 跨数据集泛化：LSUN-B训练模型在ImageNet上也很好；
  • 抗扰动较好：对JPEG压缩 和 高斯模糊的图，性能很好；

最后看下实验指标，看起来在扩散模型上效果很好，这ACC/AP都挺高的，不知道在GAN图上效果如何。

实验结果显示，这种基于扩散重建差的方法在区分真实与合成图像上表现出色，这就像是在深度伪造的海洋中拥有了一张精确的导航图。这种方法在不同的扩散模型上都展现了高度的准确性，这表明了它作为一种检测工具的潜力。

总的来说，这篇研究为深度伪造检测领域提供了一个新的视角和工具，其通过利用扩散模型的独特能力，提出了一个既直观又有效的方法来区分真实与合成图像。这种方法的成功展示了深度学习领域中“以毒攻毒”的潜力，即使用生成技术的原理来反击深度伪造的问题。

泛化能力和抗扰动

这一方法之所以具有较好的跨模型和跨数据集泛化能力，可以类比于一种“通用翻译器”，它不仅能理解不同语言（即由不同模型生成的图像）之间的差异，还能在不同的环境（即不同的数据集）中有效工作。此外，其良好的抗扰动性能表明，这种方法像是具有一种“稳定的免疫系统”，能够在面对图像质量下降（如JPEG压缩）或视觉干扰（如高斯模糊）时，依然保持高效的检测能力。

人脸伪造监测（Face Forgery Detection）

人脸伪造图生成

人脸伪装图根据身份信息是否更改划分为身份信息不变类和身份替换类。

身份不变类伪造图在图片修改/生成时不修改图片中人物的身份信息，包括：

  • 人脸编辑：编辑人脸的外部属性，如年龄、性别或种族等。
  • 人脸再制定：保留源主体的身份，但操纵其口部或表情等固有属性；
    https://github.com/harlanhong/awesome-talking-head-generation
    https://github.com/Rudrabha/Wav2Lip
  • 身份替换类伪造图在图片修改时同时改变其中人的身份信息：
    • 人脸转移：它将源脸部的身份感知和身份不相关的内容（例如表情和姿势）转移到目标脸部，换脸也换表情等等，相当于把自己脸贴在别人的头上；
    • 换脸：它将源脸部的身份信息转移到目标脸部，同时保留身份不相关的内容。即换脸，但不换表情，自己的脸在别人脸上做不变的事情；
    • 人脸堆叠操作（FSM）：指一些方法的集合，其中部分方法将目标图的身份和属性转移到源图上，而其他方法则在转移身份后修改交换后图的属性，多种方法的复合；

其他类型假图检测（Others types of Fake Image Detection）

  • 社交媒体中发的篡改图：Robust Image Forgery Detection Against Transmission Over Online Social Networks, CVPR 2022: Paper Github
  • 通用图片造假检测（局部造假等）：Hierarchical Fine-Grained Image Forgery Detection and Localization, CVPR 2023: Paper Github

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/501235.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

电视盒子什么品牌好？资深数码粉强推口碑电视盒子推荐

电视盒子什么品牌好？资深数码粉强推口碑电视盒子推荐

我对各类数码产品是非常熟悉的，尤其是电视盒子，用过超十五款了，涵盖了各个主流品牌，最近看到很多朋友在讨论不知道电视盒子什么品牌好，我这次要来分享的就是口碑最好的五款电视盒子推荐给各位不懂如何选电视盒子的新手…
阅读更多...
vue3中的基本语法

vue3中的基本语法

目录 基础素材 vue3的优化 使用CompositionAPI理由 1. reactive() 函数 2. ref() 函数 2.1. ref的使用 2.2. 在 reactive 对象中访问 ref 创建的响应式数据 3. isRef() 函数 4. toRefs() 函数 5. computed() 5.1. 通过 set()、get()方法创建一个可读可写的计算属性 …
阅读更多...
【Linux】Linux安装

【Linux】Linux安装

Linux安装（保姆级教程） 准备工具下载链接 Linux镜像系统官网（Centos版本）：https://www.centos.org/ 虚拟机下载官网：https://www.vmware.com 注：Linux是一种系统统称，就像Windows…
阅读更多...
Qt注册类对象单例与单类型区别

Qt注册类对象单例与单类型区别

1.实现类型SingletonTypeExample #ifndef SINGLETONTYPEEXAMPLE_H #define SINGLETONTYPEEXAMPLE_H#include <QObject>class SingletonTypeExample : public QObject {Q_OBJECT public://只能显示构造类对象explicit SingletonTypeExample(QObject *parent nullptr);//…
阅读更多...
正确认识肠道内脆弱拟杆菌——其在健康的阴暗面和光明面

正确认识肠道内脆弱拟杆菌——其在健康的阴暗面和光明面

谷禾健康 脆弱拟杆菌(Bacteroides fragilis)是拟杆菌门拟杆菌属的重要成员。事实上&#xff0c;脆弱拟杆菌因其免疫调节功能而成为该属中研究最多的共生微生物。它是革兰氏阴性、不形成孢子、杆状专性厌氧菌。在人类健康中扮演着复杂而双面的角色。 这种革兰氏阴性专性厌氧菌常…
阅读更多...
水电站泄洪预警系统解决方案

水电站泄洪预警系统解决方案

水电站建立的初衷有两个&#xff0c;一是用于发电&#xff0c;二是用于调节水量&#xff0c;解决下游洪涝灾害。水电站在丰水期蓄水、枯水期泄洪&#xff0c;泄洪时产生的水流又急又大&#xff0c;对电站大坝及下游存在巨大危险。为了加强水电站工程安全管理&#xff0c;保证水…
阅读更多...
element-plus+vue3动态添加删除组件（组件嵌套）

element-plus+vue3动态添加删除组件（组件嵌套）

一、需求描述 有一个添加打分点按钮&#xff0c;点击添加会新增一个打分点内容&#xff0c;默认只有一个打分点的时候不显示删除按钮&#xff0c;如果有多个打分点&#xff0c;就都显示删除按钮。在分类内容里面有一个添加分类&#xff0c;与打分点类似。分类内容里面包含打分点…
阅读更多...
代码随想录算法训练营第五天

代码随想录算法训练营第五天

● 自己看到题目的第一想法 242. 有效的字母异位词 方法&#xff1a; 方法一&#xff1a; 暴力法 1. 分别对s, t排序 2. 遍历s与t 判断s[i]!t[i] 返回 false 否则 返回true思路&#xff1a; 注意&#xff1a; 代码&#xff1a; bool cmp(char a, char b){return a<b;…
阅读更多...
【设计模式】（二、）设计模式六大设计原则

【设计模式】（二、）设计模式六大设计原则

一、 设计原则概述 设计模式中主要有六大设计原则&#xff0c;简称为SOLID &#xff0c;是由于各个原则的首字母简称合并的来(两个L算一个,solid 稳定的)&#xff0c;六大设计原则分别如下&#xff1a; ​ 1、单一职责原则&#xff08;Single Responsibitity Principle&#…
阅读更多...
【数仓】Hadoop软件安装及使用（集群配置）

【数仓】Hadoop软件安装及使用（集群配置）

一、环境准备 1、准备3台虚拟机 Hadoop131&#xff1a;192.168.56.131Hadoop132&#xff1a;192.168.56.132Hadoop133&#xff1a;192.168.56.133 本例系统版本 CentOS-7.8&#xff0c;已安装jdk1.8 2、hosts配置&#xff0c;关闭防火墙 vi /etc/hosts添加如下内容&#x…
阅读更多...
调试工具vue,react,redux

调试工具vue,react,redux

React Developer Tools Redux DevTools Vue devtools 使用浏览器官方组件扩展搜索安装
阅读更多...
RTMP播放器和推送端支持enhanced RTMP H265(enhanced RTMP HEVC)

RTMP播放器和推送端支持enhanced RTMP H265(enhanced RTMP HEVC)

Enhancing RTMP, FLV 2023年7月31号正式发布&#xff0c;主要支持了HEVC(H.265)、VP9、AV1视频编码&#xff0c;很多开源项目已支持&#xff0c;我的播放器和推送端也改改&#xff0c;支持下enhanced rtmp H.265(HEVC). 播放端和推送端connect RTMP server时&#xff0c;要在co…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023