Qwen2.5 的云端新体验,5 分钟完成极速部署

Qwen2.5 是通义千问团队开发的大规模语言和多模态系列模型,以其长文本处理能力、专业知识集成、大规模数据集预训练以及多语言处理等优势,为用户提供了快速、准确的响应,成为企业智能化转型的有效工具。

将 Qwen2.5 模型部署于函数计算 FC,用户能依据业务需求调整资源配置,有效应对高并发场景,并通过优化资源配置,如调整实例规格、多 GPU 部署和模型量化来提升推理速度。此外,函数计算支持多样化 GPU 计费模式(按需计费、阶梯定价、极速模式),可根据业务需求调整,在面对高频请求和大规模数据处理时,能够显著降低综合成本。

适用客户

  • 对 AI 的深度理解、多领域知识集成、高效指令执行及多语言支持有高要求的客户
  • 期望通过可控的云服务资源配置,确保高效的模型推理和低延迟响应的企业

使用产品

  • 函数计算 FC

方案概览

本方案旨在介绍如何将 Qwen2.5 开源模型部署到函数计算 FC。通过函数计算 FC 部署 Ollama 和 Open WebUI 两个应用。Ollama 是一个负责托管 Qwen2.5 模型的应用程序,它为用户提供了多种参数规模的模型选择,并通过 Open WebUI 提供友好的交互界面,以便用户能够轻松地进行AI模型的部署和使用。方案提供的镜像预置了 1.5B、3B、7B 三种不同参数规模供用户选择,Open WebUI 则为用户提供友好的交互界面。

借助函数计算 FC,用户可以快速便捷地部署模型,而无需担心底层资源管理和运维问题,从而专注于应用的创新和开发。函数计算 FC 提供了免运维的高效开发环境,具备弹性伸缩和高可用性,并采用按量付费模式,有效降低资源闲置成本。

实际部署时,您可根据具体的资源规划调整部分配置,但最终的运行环境将与下图展示的架构相似。

本方案的技术架构包括以下云服务:

  • 函数计算 FC:全托管的 Serverless 计算服务,用于部署模型服务与 Web 应用。

部署模型

基于 Ollama 部署 Qwen2.5 模型

我们将部署 Ollama 应用以提供模型服务。Ollama 是一个便捷的模型部署和管理工具,帮助开发者高效托管和服务化模型,便于快速集成 AI 能力。

  1. 点击 Ollama 模板链接 [ 1] ,访问创建 Ollama 应用页面。

  2. 当前应用模板提供了 Qwen2.5 模型 1.5B、3B 和 7B 三种不同参数规模的版本,可以在模型名称下拉列表中按需选择。

  1. 其余配置项可不作修改,点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。

Open WebUI 调用 Qwen2.5 模型

Open WebUI 是一个开源项目,提供了管理和操作模型的图形界面。

  1. 点击 Open WebUI 模板链接 [ 2] ,访问创建 Open WebUI 应用页面。

  2. 高级配置 > 地域下拉列表中选择应用所属地域。

警告:确保所选地域与 Ollama 应用创建时所选的地域一致。

  1. 应用模板中提供了开启鉴权的选项,建议在生产环境开启,以增加安全性,防止未经授权的访问。

  1. Ollama 接口地址填入 Ollama 应用的内网访问地址。

说明:Ollama 应用内网访问地址获取方式:

a. 打开函数计算 FC 应用 [ 3] 页面,找到 Ollama 应用,点击应用名称进入应用详情。

b. 在应用详情页找到函数资源,点击函数名称进入函数详情页。

c. 鼠标移至 HTTP 触发器,在展开的信息中复制内网访问地址

  1. 其余配置项可不作修改,点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。

  1. Open WebUI 应用部署完毕后,点击访问域名

  1. 首次打开需要完成实例的创建和模型的部署,请等待 3-5 分钟。

应用体验

一、使用 Open WebUI 调用 Qwen2.5 模型

  1. 登录 Open WebUI 后,点击 Select a model,在展开的下拉列表中选择 Qwen2.5 模型。如果在下拉列表中未显示可用的模型,请尝试刷新页面以更新列表。

  1. 可以在对话框中与系统进行交互,调用模型服务获得相应的响应。

  1. Qwen2.5 模型具备支持超过 29 种语言的能力,例如能够用法语进行自我介绍。

  1. 由于融入了领域专业专家模型,Qwen2.5 的知识广度和在编码与数学领域的能力都显著提升。我们可以提出一道数学题,Qwen2.5 能够给出正确的解答。

  1. 点击+图标,选择本地文档上传,可以使用我们提供的“百炼”手机详细参数.docx [ 4]

  1. 针对当前文档撰写提示词“总结文档内容”。

  1. 可以看到 Qwen2.5 模型成功提炼出了文档的关键信息。

说明:Open WebUI 中文设置:

  1. 点击右上角图标,在展开的下拉列表中选择 Settings

  1. 在 Settings 弹窗中,选择 General > Language

  1. 在展开的下拉列表中找到并点击 Chinese(简体中文)

  1. 页面会自动刷新,此时 Open WebUI 的界面语言已切换为简体中文,点击保存按钮后关闭弹窗。

二、函数计算 FC 自动扩缩容机制

  1. 回到 Ollama 函数详情页,点击实例标签,如果当前实例列表为空,可以点击左下角图标刷新列表。

  1. 实例列表中可以看到 Ollama 函数实例的数量发生了变化。这是因为函数计算 FC 会根据函数调用量自动扩缩容,调用增加时创建实例,请求减少后若实例空闲超过一定时间(通常 3-5 分钟),则自动销毁以节约资源。这种动态扩缩容的机制不仅提高了资源利用率,还降低了运行成本,使开发者能够专注于业务逻辑,而无需担心底层基础设施的管理。

相关链接:

[1] Ollama 模板链接

https://fcnext.console.aliyun.com/applications/create?template=ollama-qwen2_5&deployType=template-direct&from=solution

[2] Open WebUI 模板链接

https://fcnext.console.aliyun.com/applications/create?template=fc-open-webui&deployType=template-direct

[3] 函数计算 FC 应用

https://fcnext.console.aliyun.com/applications

[4] “百炼”手机详细参数.docx

https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20240701/geijms/百炼系列手机产品介绍.docx

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/870873.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Chrome浏览器访问网址报错:Whitelabel Error Page!

谷歌浏览器访问网址时,报错: Whitelabel Error Page 原因分析:由于该网址暂时没有找到页面,导致指向错误。 本例说明:原网址对应解析的二级域名为 566.example.com,现在改为aibf.example.com;因为新该的二级域名,暂时解析未生效,导致报错。 处理方法:1.确认二级域名解…

java基础Day3 java语法

java语法 新建一个空项目,在项目中新建一个java模块 文件菜单中打开项目结构,SDK有报红,要手动选,语言级别也要和SDK对应注释 //单行注释/*多行 注释*//**文档注释* @Description HelloWorld* @Author tse121*/标识符 关键字Demo01所有的标识符都应该以大小写字母、美元符$…

LossVal:一种集成于损失函数的高效数据价值评估方法

在机器学习领域,训练数据的价值并非均等:部分训练数据点对模型训练的影响显著高于其他数据点。评估单个数据点的影响程度通常需要反复重训练模型,计算效率低下。LossVal提出了一种创新方法,通过将数据价值评估过程直接集成到神经网络的损失函数中,实现了高效的数据价值评估…

企业项目管理工具选择:多维度评估,精准决策

企业在选择项目管理工具时,应综合考虑需求、服务商与产品、试用体验、培训与实施以及市场推荐与排行榜等多个因素。通过全面评估这些因素,企业可以选择出最适合自己的项目管理工具,从而提升项目管理效率和团队协作能力。企业在选择适合自己的项目管理工具时,需要考虑多个因…

工作也有利息

一、工作也有利息 银行存款有利息,存得越久,利息越多。 工作也是一样,也有利息。如果今年的工作可以节省明年或未来的工作时间,就是一份有利息的工作。工作有利息,意味着你未来的工作时间会变少,多出来的时间,就可以去做别的事情,创造更多的价值。 这提示我们: (1)不…

docker swarm ingress网络

DOCKER INGRESS 介绍 # docker ingress官网介绍:https://docs.docker.com/engine/swarm/ingress/如docker官网所述,swarm 模式下使用ingress routing mesh 路由,可以实现服务在一个节点发布后,访问swarm任意节点地址都可以访问到该服务,即使该node节点没有该服务副本在运行…

windows11 远程桌面 自动断开连接原因

前短时间始终找不到远程桌面断开连接的原因就,今天终于找到原因了原因是前段时间自己更改端口得时候,只修改了一个,导致部分数据会报错。 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server\Wds\rdpwd\Tds\tcp和HKEY_LOCAL_MACHINE\SYSTEM\CurrentContr…

记录电脑无法挂载nas硬盘

今天试了好几次始终报错,突然发现了问题所在 直接使用根目录是会报错得如图:直接报错,但是直接在地址栏输入是可以成功得。如图:时候证明不能直接挂载根目录,需要挂到根目录下一级

岸场桥对位引导系统(CPS)

岸场桥对位引导系统(CPS),是由经纬恒润自主研发的一款基于多线激光雷达的车辆精准对位产品。CPS能够快速为无人集卡及港口有人车辆提供具体距离与方向上的引导,从而为装卸集装箱的过程实现高度自动化提供保证。相对传统基于单线激光雷达的CPS,经纬恒润CPS具有多车道同时检…

ffmpeg简易播放器(2)--了解音频格式

声音是个啥 初中物理学过,声音是由物体振动产生的,声音是一种机械波,传播的介质是空气。声音的频率决定了声音的音调,频率越高,音调越高。声音的振幅决定了声音的大小,振幅越大,声音越大。 也就是说,声音实质上是一个连续的信号,他有着频率以及振幅这两个基本属性。而…

打造高效团队,助力电商实现增长目标

一、电商团队的核心增长目标与痛点 在企业的快速发展中,电商团队作为直接面对市场和消费者的核心部门,承担着推动企业增长的重任。常见的增长目标包括提升销售额、优化转化率、增强品牌影响力等。然而,电商团队在实现这些目标的过程中,往往面临以下挑战: 1. 跨部门沟通成本…

【linux合集】redis集群部署

集群式部署redis 介绍: 三台机器 001、002、003 然后再三台机器上面都部署redis_6379、redis_6380做主从,然后三台机器上面做集群 1、安装/解压redis mkdir -p /data/applications/ wget https://download.redis.io/releases/redis-5.0.14.tar.gz tar -xzf ./redis-5.0.14.ta…