第四篇：本地私有化部署大模型（Ollama、vLLM、LMDeploy）-编程知识

第四篇：本地私有化部署大模型（Ollama、vLLM、LMDeploy）

news/2025/3/21 21:40:36/文章来源:https://www.cnblogs.com/yuanxiaojiang/p/18785888

魔塔社区平台介绍

量化：将高精度数值转换成低精度表示的过程（通常用于减少模型的内存和提高推理速度）

Ollama部署大模型

linux安装miniconda

# 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh  
# 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh  
# 跟随安装向导
输入“yes”以接受许可协议，选择安装路径，并选择是否将 Miniconda 添加到 PATH 环境变量
# 激活更改
source ~/.bashrc

现在服务器上面创建一个虚拟环境

conda create -n ollama

conda activate ollama

ollama list 显示本地ollama下载的模型

ollama run qwen2.5:0.5b(后面直接跟你要跑的模型)

ollama跑不了本地的模型，只支持GGUF格式的模型（GGUF指的是量化之后的模型）

ollama针对是个人用户

vLLM部署大模型

LMDeploy部署大模型

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/902656.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

用Adobe Illustrator编辑ArcGIS地图的方法

本文介绍在ArcGIS下属的ArcMap软件中，将绘制好的地图导出为.ai或者.eps格式文件，并在Adobe Illustrator软件中进一步编辑地图，并最终导出为图片格式的结果文件的方法~本文介绍在ArcGIS下属的ArcMap软件中，将绘制好的地图导出为.ai或者.eps格式文件，并在Adobe Illustrator软…

协议版iM蓝号检测,批量筛选iMessages数据,无痕检测是否开启iMessage服务

一、实现iMessage数据检测的两种方式:1.人工筛选，将要验证的号码输出到文件中，以逗号分隔。再将文件中的号码粘贴到iMessage客户端的地址栏，iMessage客户端会自动逐个检验该号码是否为iMessage账号，检验速度视网速而定。红色表示不是iMessage账号，蓝色表示iMessage账号。2…

记录项目调用链路

记录项目调用链路内容要理清项目中执行链路的调用关系，可以通过以下工具分类实现，涵盖从代码静态分析到运行时动态追踪的全链路管理：一、代码层调用关系分析 1. 静态代码分析工具PyCallGraph（Python）生成代码调用关系图，直观展示函数调用链路。 pip install pycallgra…

获取kibana安装包 [root@elk1 ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.28-amd64.deb[root@elk1 ~]# ls kibana-7.17.28-amd64.deb kibana-7.17.28-amd64.deb# 安装kibana [root@elk1 ~]# dpkg -i kibana-7.17.28-amd64.deb 配置kibana [root@elk…

多线程程序设计（四）——Balking

本文摘要了《Java多线程设计模式》一书中提及的 Balking 模式的适用场景，并针对书中例子（若干名称有微调）给出一份 C++ 参考实现及其 UML 逻辑图，也列出与之相关的模式。 ◆ 适用场景当线程访问的共享数据没有准备好时，就放弃后续的操作。 ◆ 解决方案在临界区中判断共享…

A preLaunchTaskC/C++:g++.exe 生成活动文件已终止，退出代码为1。找到一个有点呆的bug

之前突然弹出这个问题，百思不得其解，今天突然发现，因为之前顺便命名了一个c++文件用来暂时装代码的，名字叫做a.cpp，编译器编译的过程中会生成一个可执行文件叫做a.exe,就冲突了，太傻了:-(

2025/3/21 【二叉树】二叉树理论基础节笔记

代码随想录解题过程中二叉树主要有两种形式： 1. 满二叉树2. 完全二叉树优先级队列其实是一个堆，堆就是一棵完全二叉树，同时保证父子节点的顺序关系。二、二叉搜索树三、平衡二叉搜索树

C语言程序实验二

实验任务1：#include <stdio.h> #include <stdlib.h> #include <time.h>#define N 5int main() {int number;int i;srand(time(0));for(i = 0; i<N; ++i){number = rand()%100 +1;printf("20490042%04d\n", number);}return 0;} 问题1：生成一…

智慧工地合规穿戴监测系统

智慧工地合规穿戴监测系统基于计算机视觉的未佩戴安全帽检测算法通过实时视频流分析，可突破人工监管的物理局限，实现724小时全场景覆盖。该技术通过深度学习模型对人体姿态、头部特征进行精准识别，快速定位违规行为，为安全监管提供数据化、智能化的升级路径。核心算法模型采…

停车场立体车库人员滞留报警系统

停车场立体车库人员滞留报警系统采用AI算法，通过大量真实的场景样本训练后，能够在各种应用场景下及时准确的对场景中发生的人员入侵行为发出告警信息。通过对实时视频图像进行智能分析识别，可实现图像全屏周界防护、划定区域周界防护等功能。前端智能AI预警摄像机设备嵌入AI…

解决:按钮被禁用--Popconfirm 气泡确认框仍然可以弹出来展示

按钮被禁用，仍然可以点击，并弹出提示框 <template><a-popconfirmtitle="Are you sure delete this task?"ok-text="Yes"cancel-text="No"@confirm="confirm"@cancel="cancel"> &l…