Docker部署Azure chatgpt样例应用

Github地址

https://github.com/microsoft/sample-app-aoai-chatGPT?tab=readme-ov-file#environment-variables

使用Amazon Linux 2 AMI 的arm 64版本镜像, t4g.medium实例。

需要安装git,可能需要安装 pip3等

sudo apt-get install -y python3-pip

然后从如下地址clone代码

https://github.com/microsoft/sample-app-aoai-chatGPT.git

如果不使用requirement.txt安装依赖库,则可能会提示没有版本号,需要如下方法解决

python3 -m pip install --user --upgrade pip

requirement.txt中需要注意版本号,因为Dockerfile需要从中读取flask、werkzeug等版本信息,否则会出现版本号不对应等问题。

Name: Werkzeug
Version: 2.2.3Name: Flask
Version: 2.2.2Name: requests
Version: 2.31.0urllib3==1.26.15uvicorn==0.24.0gunicorn==20.1.0

openai对应api的版本问题,可以在requirement.txt中指定 openai的版本号为0.27.7或0.28

安装和启动docker 等

yum install docker
sudo systemctl restart docker

生成等

sudo docker build -t 'gpt' .
sudo docker run -d -p 80:80 --name chatgpt gpt

注意:需要用到4G及内存以上,否则会在在docker build时,报错

=> [frontend 9/9] RUN npm run build                                                                                                                                    250.2s => => # [16:0xffffbaf195c0]    31747 ms: Mark-Compact (reduce) 917.1 (938.4) -> 917.0 (939.1) MB, 966.76 / 0.02 ms  (+ 29.4 ms in 6 steps since start of marking, biggest ste => => # p 12.0 ms, walltime since start of marking 1018 ms) (average mu = 0.337, current mu = 0.19[16:0xffffbaf195c0]    33415 ms: Mark-Compact (reduce) 919.1 (940.6) -> 918 => => # .8 (941.1) MB, 1450.30 / 0.00 ms  (average mu = 0.227, current mu = 0.130) allocation failure; GC in old space requested                                             => => # <--- JS stacktrace --->                                                                                                                                              => => # FATAL ERROR: Reached heap limit Allocation failed - JavaScript heap out of memory                                                                                    => => # ----- Native stack trace -----  

问题2:docker 启动后报lifespan,运行程序时报 internet server error

TypeError: Flask.__call__() missing 1 required positional argument: 'start_response'

解决方法,进入gunicorn.conf.py文件中,注释掉uvicorn相关内容

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/696621.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++要哮着学】初识C++,什么是C++?什么是命名空间?什么又是缺省函数?

文章目录 前言1、C简介1.1、什么是C1.2、C起源1.3、C发展 2、C关键字&#xff08;C98&#xff09;3、命名空间3.1、命名空间的定义及使用3.2、命名空间的嵌套3.3、命名空间的三种使用方式3.3.1、加命名空间名称及作用域限定符3.3.2、使用using将命名空间中某个成员引入3.3.3、使…

CSS表格

标准的表格结构 table标签&#xff1a;定义表格 caption标签&#xff1a;定义表格标题&#xff0c;这个标题会居中显示在表格上&#xff0c;一个表格只能定义一个标题 th标签&#xff1a;定义表格的表头&#xff0c;通常成粗体居中表示 tr标签&#xff1a;定义表格的一行 td标…

RabbitMQ(四种使用模式)

文章目录 1.Fanout&#xff08;广播模式&#xff09;1.基本介绍2.需求分析3.具体实现1.编写配置类 RabbitMQConfig.java2.编写生产者&#xff0c;发送消息到交换机 MQSender.java3.编写消费者&#xff0c;接受消息 MQReceiver.java4.控制层调用方法&#xff0c;发送信息到交换机…

RAG应用中的路由模式

依据的用户查询意图在 RAG 应用程序使用“路由控制模式”可以帮助我们创建更强大的 RAG 应用程序。我们通常希望用户能够访问的数据可以来自各种来源,如报告、文档、图片、数据库和第三方系统。 对于基于业务的 RAG 应用程序,我们可能还希望用户能够与其它业务系统进行交互,…

卷积通用模型的剪枝、蒸馏---蒸馏篇--RKD关系蒸馏(以deeplabv3+为例)

本文使用RKD实现对deeplabv3+模型的蒸馏;与上一篇KD蒸馏的方法有所不同,RKD是对展平层的特征做蒸馏,蒸馏的loss分为二阶的距离损失Distance-wise Loss和三阶的角度损失Angle-wise Loss。 完整代码放在文末。 一、RKD简介 RKD算法的核心是以教师模型的多个输出为结构单元,取…

Infuse for Mac激活版:高清影音播放软件

对于热爱影音娱乐的Mac用户来说&#xff0c;Infuse for Mac是一个不容错过的选择。它以其简洁的操作界面和强大的播放功能&#xff0c;为用户带来了全新的影音播放体验。 Infuse for Mac支持广泛的音视频格式&#xff0c;无需额外转换&#xff0c;即可轻松播放您喜爱的影片。无…

图的概念、性质和存储与简单遍历

前置知识&#xff1a;树的基本概念及性质 为了保证学习效果&#xff0c;请保证已经掌握前置知识之后&#xff0c;再来学习本章节&#xff01;如果在阅读中遇到困难&#xff0c;也可以回到前面章节查阅。 学习目标 掌握图的基本概念掌握图的一些性质 图的概念 基本概念 图 (…

算法设计与分析(超详解!) 第三节 贪婪算法

1.贪心算法基础 1.贪心算法的基本思想 贪心算法是从问题的某一个初始解出发&#xff0c;向给定的目标推进。但它与普通递推求解过程不同的是&#xff0c;其推动的每一步不是依据某一固定的递推式&#xff0c;而是做一个当时看似最佳的贪心选择&#xff0c;不断地将问题实例归…

MySQL 大量数据插入优化

效率最好的方式是&#xff1a;批量插入 开启事务。 1、数据批量插入相比数据逐条插入的运行效率得到极大提升&#xff1b; ## 批量插入 INSERT INTO table (field1, field12,...) VALUES (valuea1, valuea2,...), (valueb1, valueb2,...),...;当数据逐条插入时&#xff0c;每…

OpenAI 或将推出多模态人工智能数字助理;研究发现部分 AI 系统已学会「说谎」丨 RTE 开发者日报 Vol.203

开发者朋友们大家好&#xff1a; 这里是 「RTE 开发者日报」 &#xff0c;每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE&#xff08;Real Time Engagement&#xff09; 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文…

LeetCode 700.二叉搜索树中的搜索

LeetCode 700.二叉搜索树中的搜索 1、题目 题目链接&#xff1a;700. 二叉搜索树中的搜索 给定二叉搜索树&#xff08;BST&#xff09;的根节点 root 和一个整数值 val。 你需要在 BST 中找到节点值等于 val 的节点。 返回以该节点为根的子树。 如果节点不存在&#xff0c;则…

【C语言/数据结构】栈:从概念到两种存储结构的实现

目录 一、栈的概念 二、栈的两种实现方式 1.顺序表实现栈 2.链表实现栈 三、栈的顺序存储结构及其实现 1.栈的声明 2.栈的初始化 3.栈的销毁 4.栈的压栈 5.栈的弹栈 6.栈的判空 7.返回栈顶元素 8.返回栈的长度 四、栈的链式存储结构及其实现 1.栈的声明 2.栈的…