扩散模型入门

主要参考资料
B站视频《Sora 夜谈之 Video Diffusion 综述》

目录

  • 图像Diffusion模型发展脉络
  • 视频Diffusion模型发展脉络
  • 视频模型评价标准

图像Diffusion模型发展脉络

相较于直接在图像层Pixel space加噪和降噪,Latent Diffusion则通过编码增加了一层Latent层,在比较低的维度上计算,节省了计算资源。
在这里插入图片描述
而Stable diffusion就是其中最有名的一个开源模型。
在这里插入图片描述
右下角是Stable Diffusion XL与其他版本的比较。
在这里插入图片描述
ControlNet则是提供了其他模态,比如sketch或者骨骼图生成想要的效果。
在这里插入图片描述

视频Diffusion模型发展脉络

在这里插入图片描述
这是2022谷歌的第一个视频扩散模型,只能生成64×64,16帧的视频。
在这里插入图片描述
Meta后来做了一个提高分辨率和帧率的模型
在这里插入图片描述
在这里插入图片描述
以上都是在pixel space上生成的生成的视频,后来英伟达把Diffusion应用在视频上。
在这里插入图片描述

在这里插入图片描述

视频模型评价标准

视频模型评价标准分为主观和客观评价。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/509748.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uniapp 项目 浏览器chrome使用vue devtool 识别不了 in not detect

问题 uniapp的项目,vue2, chrome 分析 添加了运行时,指定模板h5.html 指定的h5.html重置了运行根目录,导致了vue dev tool在运行时,chrome上识别不了。 解决: 方法1: 只能调试的时候,不加sati…

docker 常用命令大全(基础、镜像、容器、数据卷)

文章目录 1.docker基础命令2.docker镜像命令2.1 镜像名称2.2 镜像命令2.3 案例1--拉取、查看镜像2.4 案例2--保存、导入镜像 3.docker容器命令3.1 容器命令3.2 案例--创建并运行一个容器3.3 案例--进入容器,修改文件3.4 小结 4.数据卷4.1 什么是数据卷4.2 数据卷操作…

如何本地创建websocket服务端并发布到公网实现远程访问

文章目录 1. Java 服务端demo环境2. 在pom文件引入第三包封装的netty框架maven坐标3. 创建服务端,以接口模式调用,方便外部调用4. 启动服务,出现以下信息表示启动成功,暴露端口默认99995. 创建隧道映射内网端口6. 查看状态->在线隧道,复制所创建隧道的公网地址加端口号7. 以…

windos 批量自定义 重命名

有时候需要批量重命名,window全选重命名格式又不能自定义,所以写了一个批处理文件来完成,可以自定义文件名格式 1.使用用方法 echo off setlocal enableextensions enabledelayedexpansion set i1 for /f %%i in (cd) do set var%%i for /r …

[RoarCTF 2019]Easy Calc

这题考查的是: 字符串解析特性目录读取文件内容读取 字符串解析特性详解:PHP字符串解析特性 ($GET/$POST参数绕过)(含例题 buuctf easycalc)_参数解析 绕过-CSDN博客 ascii码查询表:ASCII 表 | 菜鸟工具 …

深入了解直播美颜SDK,美颜SDK是什么?

在实现直播美颜功能的背后,美颜SDK扮演了重要的角色。今天,笔者将为大家讲解美颜SDK的定义、功能以及在直播行业中的应用。 一、美颜SDK的定义 美颜SDK是一种软件开发工具包,旨在为应用开发者提供一套实现美颜功能的接口和算法。它通常包含…

东南亚跨境电商必看,如何使用代理IP洞察市场先机?

东南亚连续第三年成为全球电子商务增长最快的地区,预计到2025年,东南亚电商的市场规模将会达到2,340亿美元。虽然起步较晚,但随着移动互联网和数字支付的普及,东南亚跨境市场迅速崛起,呈现出蓬勃的发展态势。 人口基数…

React富文本编辑器开发(六)

现在,相关的基础知识我们应该有个大概的了解了,但离我们真正的开发出一个实用型的组件还有一段距离,不过不用担心,我们离目标已经越来越近。 以现在我们所了解的内容而言,或许你发现了一个问题,就是我们的编…

从0到1全流程使用 segment-anything

从0到1全流程使用 segment-anything 一、安装 anaconda 一、下载 anaconda 二、以管理员身份运行安装 1、勾选 Just Me 2、统一安装路径(后续 python 等包也安装至此目录) 3、勾选 add to path 然后安装即可。 三、修改 Anaconda 默认路径及默认缓存路径 Anaconda 默认下…

17-Linux部署Flink环境

Linux部署Flink环境 注意 本小节的操作,基于:大数据集群(Hadoop生态)安装部署环节中所构建的Hadoop集群 如果没有Hadoop集群,请参阅前置内容,部署好环境。 参考文章 14-Linux部署Hadoop集群:…

2.00001《Postgresql内幕探索》走读 之 查询优化

文章目录 1.1 概述1.1.1 Parser1.1.2 分析仪/分析器1.1.3 Rewriter1.1.4 Planner和Executer 1.2 单表查询的成本估算1.2.1 顺序扫描1.2.2 索引扫描1.2.3 排序 1.3 .创建单表查询的计划树1.3.1 预处理1.3.2 获取最便宜的访问路径示例1示例二 1.3.3 创建计划树示例1例二 1.4 EXEC…

WebDAV之π-Disk派盘+人生Life

人生Life是一款日程软件,在这款待办的日程软件当中各种功能极为的完善,完全的足够用户在日常当中的使用,你的待办方面的各种内容都能够在软件上面进行规划和填充,通过待办事项来帮助用户提高在日常当中的效率,对于用户来说这款待办事项的软件是绝佳的选择。 π-Disk派盘 …