在线教程|图灵奖得主Yann LeCun盛赞!小红书开源InstantID,一张原图即可定制多种风格写真

不久前,一群来自小红书的 95 后工程师联合北大团队发布了开源项目「InstantID」,只需上传一张照片,这款 AI 写真神器就能轻松定制多种风格的 AI 写真,告别繁琐修图。
InstantID 一经发布就引起了广泛关注,GitHub 收藏量达到了 9.9K,图灵奖得主 Yann LeCun 也在自己的社交账号上转发了团队以其形象生成的示例,表示支持。
图片
过去,主题驱动的文本到图像生成,通常需要在多张含有该主题(如人物、风格)的数据集上进行训练,其代表性方案包括 DreamBooth、LoRAs 等,但此类方案的高存储需求、耗时的微调过程,让很多用户望而却步,导致其无法在真实场景中得到快速应用,而 InstantID 的出现则打破了这个僵局。
在这里插入图片描述

InstantID 架构

InstantID 的工作原理主要分为三部分:
ID Embedding:通过预训练的面部识别模型,将语义人脸特征提取为 Face Embedding。该嵌入富含语义信息,如面部特征、表情、年龄等,为后续图像的生成提供坚实基础。
ImageAdapter:引入轻量级适配模块,将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制,图像和文本能够独立地影响图像的生成,在保持身份信息的同时还可以对图像风格进行精细控制。
IdentityNet:它通过强语义条件(如面部特征的详细描述)和弱空间条件(如面部关键点的位置)来编码参考面部图像的复杂特征。生成过程由 Face Embedding 引导,无需文本信息,只需针对新添加的模块进行更新,保持预先训练文本到图像模型的冻结,确保灵活性。
把复杂留给代码,把简单留给用户! InstantID 不仅在技术上实现了零次个性化图像合成的突破,同时也在用户体验上也做到了极致的简洁和直观。无论你是设计小白还是艺术大师,都能在该平台上,轻松创造出个性化的图像。具体应用场景有:
多 ID 和多风格合成
InstantID 一键实现「跨国合作」!

图片

风格化合成
只需输入一张人脸照片,就能生成多种具有个性化风格的 AI 写真。

图片

逼真合成

这些图真的是合成的吗?

图片

ID 插值

还可以将杨幂和 Taylor 的形象融合。(ps:利用该功能,还可以根据父母双方面部权重,预测未来孩子长相哦!)

图片

新视角合成

一张原图+一张风格参考图=百变大咖

图片

非人像合成
人物和动物融合会发生什么?

图片

这么多风格供你挑选,小伙伴们是不是等不及来试一下啦!不要着急,HyperAI超神经已经上线了「InstantID 个性化写真生成 Demo」教程,该教程为大家搭建好了环境,点击克隆即可一键启动,快来实现你的「七十二变」吧!

公共教程地址:

https://hyper.ai/tutorials/31559

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「InstantID 个性化写真生成 Demo」。点击「在线运行此教程」。

图片

2.页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。点击右下角「下一步:选择算力」。

图片

图片
3.跳转后,选择「NVIDIA GeForce RTX 4090 」,点击「下一步:审核」。新用户使用下方邀请链接注册,还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长!
HyperAI超神经专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

图片

4.点击「继续执行」,等待分配资源,当状态变为「运行中」后,点击「打开工作空间」。

图片

图片

5.在启动页新建一个终端会话,输入下面的命令。

cd InstantID

图片

图片

6.输入下面的命令,运行 Gradio demo。

python gradio_demo/app.py

图片

7.当命令行出现「Running on local URL: https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 InstantID 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

图片

图片

图片

效果展示

1.打开 InstantID 页面,上传人物图片,上传参考图片。其中,参考图片的作用是用来固定人物在图中的位置。

图片

2.完善下列参数调整。

在「Prompt」提示词框内写需要生成图片的关键词,通常根据初始图片来进行提示,若上传的图片是个男人,可以写 「a man」。

点击「Eable Fast Inference with LCM」选项,如果不开生成图速度会稍微慢些。

图片

「Style template」风格选择器,可完善提示词,里面有「Watercolor」水彩、「Line Art」线条风格等效果。

「IdentityNet strength (for fidelity)」人脸强度或 ID 强度,作用于初始导入的人物图,参数越高,生成的图片和该人物图越像,默认数值 0.8。

「Image adapter strength (for detail)」图片参考强度,作用于参考图,强度决定生成图片与参考图的相似度,默认数值 0.8。

图片

  • 「Advanced Options」高级参数调整。

  • 「Negative Prompt」,负面提示词,可以填一些不想最终生成图片含有的内容,比如避免低质量的词等。

  • 「Number of sample steps」、「Guidance scale」、「seed」,选择默认数值即可。

  • 「Randomize seed」随机种子,打开。

  • 「Enhance non-face region」强化非面部区域,打开后会增强风格选择器的权重。

图片

3.点击「Submit」,5 秒即可生成图片。

图片

图片

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。
点击链接即可搜索相关教程及数据集:https://hyper.ai/tutorials

以上就是 HyperAI超神经本次分享的全部内容了,如果大家看到优质项目,欢迎后台留言推荐给我们!另外,我们还建立了「Stable Diffusion 教程交流群」,欢迎小伙伴们入群探讨各类技术问题、分享应用效果~
扫码加入教程交流群

图片

若加群二维码失效,可扫描下方二维码添加神经星星微信(微信号:Hyperai01),备注「SD 教程交流群」,即可加入群聊。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/688092.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LeetCode算法】28. 找出字符串中第一个匹配项的下标

提示:此文章仅作为本人记录日常学习使用,若有存在错误或者不严谨得地方欢迎指正。 文章目录 一、题目二、思路三、解决方案四、JAVA截取字符串的常用方法4.1 通过subString()截取字符串* 一、题目 给你两个字符串 haystack 和 needle ,请你在…

如果通过Glide 设置图片圆角

要给图片设置一个圆角,通常方法是在ImageView 标签外添加一个CardView 标签,然后设置圆角值,但是今天遇到一个问题就是 RecyclerView Item 中这样操作的话会遇到这样的一个报错: Cannot call this method while RecyclerView is computing a layout or scrolling androidx.rec…

web前端之sass中的颜色函数、active按钮激活、hover鼠标悬浮、disabled禁用、scss循环、css

MENU 效果图htmlsassscss编译后的css页面css 效果图 注意查看蓝色按钮。 html <div class"box"><button class"btn type_1">按钮</button><button class"btn type_2">按钮</button><button class"btn ty…

「TypeScript」TypeScript入门练手题

前言 TypeScript 越来越火&#xff0c;现在很多前端团队都使用它&#xff0c;因此咱们前端码农要想胜任以后的前端工作&#xff0c;就要更加熟悉它。 入门练手题 interface A {x: number;y: number; }type T Partial<A>;const a: T { x: 0, y: 0 }; const b: T { …

专题六_模拟(3)

目录 1419. 数青蛙 解析 题解 1419. 数青蛙 1419. 数青蛙 - 力扣&#xff08;LeetCode&#xff09; 解析 题解 class Solution { public:int minNumberOfFrogs(string croakOfFrogs) {// 44.专题六_模拟_数青蛙_Cstring t "croak";int n t.size();vector<in…

力扣HOT100 - 215. 数组中第K个最大元素

解题思路&#xff1a; 快速选择&#xff0c;目标是找出数组中第 k 小&#xff08;或第 k 大&#xff09;的元素&#xff0c;而不是对整个数组进行排序。 &#xff08;需要和快排进行区分&#xff0c;快排的目的是排序&#xff09; 注意&#xff1a; i l - 1, j r 1; 为什…

短剧奔向小程序,流量生意如何开启?

随着移动互联网的飞速发展&#xff0c;小程序作为一种轻量级、易传播的应用形态&#xff0c;逐渐在各个领域展现出其独特的商业价值。而最近爆火的短剧小视频作为一种受众广泛的娱乐形式&#xff0c;与小程序结合后&#xff0c;不仅为观众提供了更为便捷的观看体验&#xff0c;…

torch.searchsorted

torch.searchsorted 官方文档链接&#xff1a;torch.searchsorted — PyTorch 2.3 documentation 该函数用于在已排序的序列中查找要插入的值的位置&#xff0c;以保持序列的顺序&#xff0c; torch.searchsorted(sorted_sequence, values, *, out_int32False, rightFalse, s…

机器人系统ros2-开发实践09-如何向 tf2 添加额外的坐标帧位置(Python)

在之前的教程中&#xff0c;我们通过编写tf2 广播器和tf2 监听器重新创建了乌龟演示。本教程将教您如何向转换树添加额外的固定和动态框架。事实上&#xff0c;在 tf2 中添加框架与创建 tf2 广播器非常相似&#xff0c;但此示例将向您展示 tf2 的一些附加功能。 对于许多与转换…

自回归模型的优缺点及改进方向

在学术界和人工智能产业中&#xff0c;关于自回归模型的演进与应用一直是一个引发深入讨论和多方观点交锋的热门议题。尤其是Yann LeCun&#xff0c;这位享誉全球的AI领域学者、图灵奖的获得者&#xff0c;以及被誉为人工智能领域的三大巨擘之一&#xff0c;他对于自回归模型持…

Linux:进程概念(三.详解进程:进程状态、优先级、进程切换与调度)

上次讲了进程这些内容&#xff1a;Linux&#xff1a;进程概念&#xff08;二.查看进程、父进程与子进程、进程状态详解&#xff09; 文章目录 1.Linux中的进程状态1.1前台进程和后台进程运行状态睡眠状态磁盘休眠状态停止状态kill指令—向进程发送信号 死亡状态 2.僵尸进程2.1僵…

Java入门基础学习笔记16——运算符

package cn.ensource.operator;public class OperatorDemo1 {public static void main(String[] args) {// 目标&#xff1a;掌握基本的算术运算符的使用int a 10;int b 2;System.out.println(a b);System.out.println(a - b);System.out.println(a * b); // 20System.out.…