本地部署 DeepSeek Janus Pro 文生图大模型

Hello, 大家新年好。
在这个春节期间最火的显然是 DeepSeek 了。据不负责统计朋友圈每天给我推送关于 DeepSeek 的文章超过20篇。打开知乎跟B站也全是 DeepSeek 相关的内容。不过大部分的内容都是关于 DeepSeek R1 推理模型有多牛逼。在这里就不多说关于 R1 的废话了,因为大家已经看腻了。
R1 在本地用 ollama 跑了一下,太简单了,都没必要写个教程。除了 R1 今天还在本地部署成功了 DeepSeek 的 Janus Pro 模型。

什么是 Janus Pro

Janus-Pro是一种创新的自回归框架,其统一了多模态理解与生成任务。该框架通过将视觉编码解耦到不同的处理路径(同时仍使用单一统一的Transformer架构进行信息处理),有效解决了先前方法的局限性。这种解耦机制不仅缓解了视觉编码器在理解与生成双重角色间的冲突,还显著提升了框架的灵活性。Janus-Pro在性能上超越了以往的统一模型,并达到甚至超越了专用任务模型的表现水平。凭借其架构简洁性、高度灵活性和卓越有效性,Janus-Pro有望成为下一代统一多模态模型的重要技术方向。

以上内容来自 Janus Pro github 仓库的介绍,非常的学术。简单说它是文生图的模型,类似 DALL-E 3, Stable Diffusion。

以下就让我们看看这么在本地的 PC 电脑来运行 Janus Pro 模型吧。

1. 安装 conda

从以下地址下载 anaconda 的 windows 安装包
https://www.anaconda.com/download

安装完成后需要把安装目录配置到环境变量 PATH 上

2. 创建 python 虚拟环境

conda create -n janus_pro python=3.10 -y
conda activate janus_pro

注意:Python 3.10是经过验证的兼容版本,避免使用其他版本导致依赖冲突

3. 克隆 janus 仓库到本地

git clone https://github.com/deepseek-ai/Janus.git
cd Janus

4. 安装依赖

# 安装基础依赖
pip install -e .

注意:pip 安装依赖的时候可能会遇到网络问题,建议配置代理

5. 安装 Gradio

pip install -e .[gradio]

到时候我们会通过 Gradio 的界面跟 janus 进行交互

6. 使用 janus pro 1B 模型

janus pro 默认启动的时候使用的是 7B 参数的模型,本地电脑跑起来的话太卡了。这里我们会修改成使用 1B 模型,这样的话大概 8G 的显存也能勉强跑一跑,7B 的话对显存的要求会更高。

找到我们克隆下来的仓库。使用编辑器打开 demo/
把第15行改成:

model_path = "deepseek-ai/Janus-Pro-1B"

7. 启动 Janus Pro

python demo/app_januspro.py

注意:启动期间会从 huggingface 拉取 1B 模型,大小大概 4G,所以还是需要指定代理。
启动成功后如下图:

8. 使用 Gradio 界面进行交互

启动成功后在浏览器里输入: http://127.0.0.1:7860 即可访问 Gradio 页面。

9. 图片理解

先来试试 janus pro 对图片的理解。

This image is a humorous meme that uses the popular "buff Doge vs. sad Doge" format to compare two different approaches to visual encoding.
...

这个解释到位的有点吓人。

10. 文生图

再来试试文字生成图片

prompt:

A cute and adorable baby fox with big brown eyes, autumn leaves in the background enchanting,immortal,fluffy, shiny mane,Petals,fairyism,unreal engine 5 and Octane Render,highly detailed, photorealistic, cinematic, natural colors.


图片是我从 Hugging Face 直接运行得到的。在我本地运行了30分钟都没出结果,我直接 ctrl-c 取消了。可能是我的显卡太垃圾了(RTX4060 Mobile)。

总结

以上我们在本地 windows 上成功部署了 DeepSeek janus pro 模型。按照以上 step by step 的方式也没什么难度。通过测试 janus pro 对图片的理解非常到位。但是文生图的测试失败了,可能是我的显卡太垃圾,如果有同学有 4090 这种显卡可以试一试本地文生图的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/881449.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

新生赛回顾

签到 文件用Exeinfo PE打开,无壳用ida64位打开F5跳转到C语言界面,可以发现明文rc4 无壳,用ida64打开,发现为rc4加密可以直接用动调拿flag,在输入后面下断点按F9后选择动调方式再按F9进入。输入随便21位字符串,进入后双击Str也就是我们输入的数组,右击选择到Change byte …

CrackMe

[HNCTF 2022 Week1]CrackMe 题目链接:https://www.nssctf.cn/problem/2908 一个用户名对应注册码,应该将用户名输入正确 常规解法断点在strcmp 这道题就是根据这个判断得出flag 用户名为CrackMe,在动调的时候因为会先的到一个假的,在弹出错误信息后在才是正确的 详细原因看…

利用 预加载(PRELOAD)机制实现 Hook

elf程序在进行动态链接的时候,会将有相同符号名的符号覆盖成LD_PRELOAD指定的so文件中的符号。也就是说,我们可以用自己的so库中的函数替换原来库里有的函数,从而达到hook的目的。 下面我们尝试通过这种hook方式来实现任意地址读/写 测试文件: test.c:#include <stdio.h&…

DeepSeek本地部署教程

DeepSeek本地部署教程 deepseek本地部署 第一步:安装ollama https://ollama.com/download第二步:在ollama 官网搜索 https://ollama.com/搜索 deepseek 选择第一项即可模型大小与显卡需求模型版本 参数规模 最低显存要求 推荐 GPU 型号DeepSeek-R1 70B 40GB NVIDIA RTX A6000…

缺失 ffmpeg.dll 无法打开vscode

不清楚什么原因,莫名奇妙vscode打不开了弹框提示“由于找不到 ffmpeg.dll,无法继续执行代码。重新安装程序可能会解决 此问题。” 1. 找到vscode的文件位置 2. 多了一个_文件夹,将_文件夹的内容,移到上一层,即 “Microsoft VS Code”文件夹中 3. 可正常启动 PS:不清楚为什…

整理合集——Linux必备的基础知识总结

一、Linux 操作系统概述 1、发展 1991 Linus Linux 0.0.1 版,代码为 8K 行。现在最新版本为 5.12.4。Linux 加入了 GNU,整体基于 GPL 协议,允许开源、分享传播、修改。 内核下载的地址:https://www.kernel.org/ 2、组成 kernel 内核: 核心程序,用于管理硬件设备、系统的线…

海亮 SC 游寄(完结)

Castxwx:@NaPF6__qwq,小号 @Anti__void hjr:@Huang_junrui,参与 sc gjc:@SY_nzwmb83 bzy:@benbzy,参与 sc gx:@gxwinnt,校内教练Week 1 Day 0 初始坐标:JS-WX-YX,SC 学校坐标:ZJ-SX-ZJ 今天是 2024/7/3 9:00 出发,自驾,12:30 到酒店,下午没去报到 晚自习前找教室…

七分钟交友匿名聊天室源码安装出错解决办法

今天一个网友让帮忙安装七分钟交友匿名聊天室源码,看教程非常简单只有两个命令! 我是选择用的宝塔安装的,其实宝塔就一个命令就行了。 安装依赖项:npm install启动:node app.js运行:直接访问域名即可进入聊天室 但是运行以后出现错误,导致一直无法正常聊天,输入聊记录不…

IAP升级(STM32)

IAP升级(STM32) (未完,更新ing) IAP作用简述:将要升级的程序bin文件通过串口发送给STM32,STM32接收后存储到FLASH或者SRAM,用户通过事件(按键等)触发(也可延时自动触发)后将升级文件夹作用:Bootloader先烧录到stm32,作为引导接受串口bin文件升级包,以及跳转到用…

.NET适配HarmonyOS进展

1. 前言 目前国产化系统浪潮下,适配鸿蒙是中国软件大势所趋,.NET作为最适合开发客户端语言之一,适配鸿蒙系统(HarmonyOS Next)是目前.NET开发者最关心的事情。我目前业余时间正在移植Avalonia到HarmonyOS,去年在.NET Config CN上分享过,目前又取得一点进展,所以本文把所有…

点云大数据在低空经济中的应用:三维激光雷达技术探索

随着科技的飞速发展,低空经济正逐渐成为推动社会经济发展的新引擎。其中,三维激光雷达技术以其高精度、高效率的特点,在低空经济中扮演着越来越重要的角色。本文将深入探讨三维激光雷达在点云大数据领域的核心技术,以及其在多元应用中的探索与实践。一、三维激光雷达技术概…

deepseek本地部署

deepseek本地部署 下载并部署大模型(这里使用Ollama)下载并安装Ollama打开浏览器搜索ollama,访问官网。 点击右上角Download按钮,选择对应系统版本的安装包下载。 双击安装包,按提示完成安装。 验证安装:在终端输入ollama -v,出现版本号即表示安装成功。指定模型下载位置…