【管理运筹学】背诵手册(五)| 动态规划

五、动态规划

基本概念

阶段(Stage):将所给问题的过程,按时间或空间特征分解成若干相互联系的阶段,以便按次序去求解每阶段的解,常用字母 k k k 表示。

状态(State):各阶段开始时的客观条件叫做状态。描述各阶段状态的变量称为状态变量,常用 s k s_k sk 表示第 k k k 阶段的状态变量,状态变量 s k s_k sk 的取值集合称为状态集合,用 S k S_k Sk 表示。状态变量应具有无后效性:某阶段状态给定后,这个阶段以后过程的发展不受这段以前各状态的影响。

决策和策略(Decision and Policy):各阶段状态确定后,就可以作不同的决定,从而确定下一阶段的状态,这种决定称为决策。表示决策的变量称为决策变量,常用 u k ( s k ) u_k(s_k) uk(sk) 表示,允许的决策集合常用 D k ( s k ) D_k(s_k) Dk(sk) 表示。各阶段决策确定后,整个问题的决策序列就构成一个策略。

状态转移方程:如果给定了第 k k k 阶段的状态 s k s_k sk ,本阶段决策为 u k ( s k ) u_k(s_k) uk(sk) ,则第 k + 1 k+1 k+1 阶段的状态 s k + 1 s_{k+1} sk+1 也就完全确定,它们的关系就称为状态转移方程。

指标函数:用于衡量所选定策略优劣的数量指标称为指标函数。直接指标函数表示某阶段的决策产生的效益,常用 d k ( u k ) d_k(u_k) dk(uk) 表示。最优指标函数表示从第 k k k 阶段状态为 s k s_k sk 采用最优策略时,后部过程的最优收益值,常用 f k ( s k ) f_k(s_k) fk(sk) 表示。

五要素

动态规划模型五要素:

  1. 将问题按时空特征恰当地划分为若干个阶段。
  2. 正确地规定状态变量 s k s_k sk ,使得它既能描述过程的演变,又具有无后效性。
  3. 正确地规定决策变量 u k u_k uk 以及每阶段的允许决策集合 D k ( s k ) D_k(s_k) Dk(sk) .
  4. 正确写出状态转移方程 s k + 1 = g k ( s k , u k ) s_{k+1}=g_k(s_k,u_k) sk+1=gk(sk,uk)
  5. 正确地定义各阶段的直接指标函数 d k ( s k , u k ) d_k(s_k,u_k) dk(sk,uk) 和后部子过程的最优指标函数 f k ( s k ) f_k(s_k) fk(sk) ,并写出基本方程(以 max ⁡ \max max 和相加求收益为例): { f k ( s k ) = max ⁡ { d k ( s k , u k ) + f k + 1 ( s k + 1 ) } , k = n , n − 1 , ⋯ , 1 f n + 1 ( s n + 1 ) = 0 , 边界条件 \begin{cases} f_k(s_k)=\max\{d_k(s_k,u_k)+f_{k+1}(s_{k+1})\} &,k=n,n-1,\cdots,1 \\ f_{n+1}(s_{n+1})=0&,边界条件\end{cases} {fk(sk)=max{dk(sk,uk)+fk+1(sk+1)}fn+1(sn+1)=0,k=n,n1,,1,边界条件

生产存储问题

做题时,我们可也按照动态规划模型五要素进行建模,以生产与储存问题为例。

在这里插入图片描述

解: 将问题划分为 4 4 4 个阶段( k = 1 , 2 , 3 , 4 k=1,2,3,4 k=1,2,3,4),每个阶段表示一个时期;状态变量 s k s_k sk 表示第 k k k 阶段开始时的库存量;决策变量 x k x_k xk 表示第 k k k 阶段的产品生产量, d k d_k dk 表示第 k k k 阶段的产品需求量,则状态转移方程为: s k + 1 = s k + x k − d k s_{k+1}=s_k+x_k-d_k sk+1=sk+xkdk 直接指标函数 g k ( x k ) g_k(x_k) gk(xk) 表示第 k k k 阶段决策为 x k x_k xk 时的成本,包括生产成本 c k ( x k ) c_k(x_k) ck(xk) 和存储成本 m k ( x k ) m_k(x_k) mk(xk) 。其中, c k ( x k ) = { 0 , x k = 0 3 + x k , x k = 1 , 2 , ⋯ , 6 ∞ , x k > 6 c_k(x_k)=\begin{cases} 0&,x_k=0\\ 3+x_k&,x_k=1,2,\cdots,6\\ \infty&,x_k>6 \end{cases} ck(xk)= 03+xk,xk=0,xk=1,2,,6,xk>6 m k ( x k ) = 0.5 ( s k + x k − d k ) m_k(x_k)=0.5(s_k+x_k-d_k) mk(xk)=0.5(sk+xkdk) 。最优指标函数 f k ( s k ) f_k(s_k) fk(sk) 表示第 k k k 阶段状态为 s k s_k sk 采用最优策略时,后部过程的最小成本,则递推基本方程为: f k ( s k ) = { min ⁡ { c k ( x k ) + m k ( x k ) + f k + 1 ( s k + 1 ) } , k = 4 , 3 , 2 , 1 f 5 ( s 5 ) = 0 f_k(s_k)=\begin{cases} \min\{c_k(x_k)+m_k(x_k)+f_{k+1}(s_{k+1})\},k=4,3,2,1\\ f_5(s_5)=0\end{cases} fk(sk)={min{ck(xk)+mk(xk)+fk+1(sk+1)},k=4,3,2,1f5(s5)=0 随后便是每个阶段的求解了,最关键的就是确定 s k s_k sk x k x_k xk 的取值范围,需要瞻前顾后,考虑每阶段的生产能力以及最后阶段的库存要求。

设备更新问题

对于设备更新问题,教材上用了别的符号,让人难以和之前的联系起来,但其实它也可以用我们常见的符号表达的。用一个实际题目来说明。

在这里插入图片描述
在这里插入图片描述
解: 将问题分为 5 个阶段( k = 1 , 2 , 3 , 4 , 5 k=1,2,3,4,5 k=1,2,3,4,5),每个阶段代表一年。状态变量 s k s_k sk 表示第 k k k 阶段初机器的役龄,决策变量 x k x_k xk 表示第 k k k 阶段时保留(K)还是更新(R)。则状态转移方程为: s k + 1 = { s k + 1 , x k = K 1 , x k = R s_{k+1}=\begin{cases} s_k+1&,x_k=K\\ 1&,x_k=R \end{cases} sk+1={sk+11,xk=K,xk=R 直接指标函数 g k ( x k ) g_k(x_k) gk(xk) 表示第 k k k 阶段做出决策 x k x_k xk 的收入, I k ( s k ) I_k(s_k) Ik(sk) 表示第 k k k 阶段役龄为 s k s_k sk 的机器带来的收入, O k ( s k ) O_k(s_k) Ok(sk) 表示第 k k k 阶段役龄为 s k s_k sk 的机器的运行费用, C k ( s k ) C_k(s_k) Ck(sk) 表示第 k k k 阶段役龄为 s k s_k sk 的机器更新费用,则有 g k ( x k ) = { I k ( s k ) − O k ( s k ) , x k = K I k ( 0 ) − O k ( 0 ) − C k ( s k ) , x k = R g_k(x_k)=\begin{cases} I_k(s_k)-O_k(s_k)&,x_k=K\\ I_k(0)-O_k(0)-C_k(s_k)&,x_k=R \end{cases} gk(xk)={Ik(sk)Ok(sk)Ik(0)Ok(0)Ck(sk),xk=K,xk=R 最优指标函数 f k ( s k ) f_k(s_k) fk(sk) 表示第 k k k 阶段役龄为 s k s_k sk 的机器采用最优策略时,后部过程的最大收入,可写出递推基本方程为: f k ( s k ) = { max ⁡ { g k ( x k ) + f k + 1 ( s k + 1 ) } , k = 5 , 4 , 3 , 2 , 1 f 6 ( s 6 ) = 0 f_k(s_k)=\begin{cases} \max\{g_k(x_k)+f_{k+1}(s_{k+1})\},k=5,4,3,2,1\\ f_6(s_6)=0\end{cases} fk(sk)={max{gk(xk)+fk+1(sk+1)},k=5,4,3,2,1f6(s6)=0 剩下就是根据表中的数据代入递推方程了。

静态规划问题

动态规划方法还可以用来求解一些静态规划问题,如整数规划和非线性规划问题等。一般将约束条件的右端资源量作为状态变量,决策变量为原规划问题的决策变量,直接指标函数为目标函数对应的部分。

有时候最后一个阶段的直接指标函数较为复杂,可以换一换次序,简化计算。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/212724.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度解析 Docker Registry:构建安全高效的私有镜像仓库

文章目录 什么是Docker Registry?Docker Hub vs. 私有RegistryDocker Hub:私有Registry: 如何构建私有Docker Registry?步骤一:安装Docker Registry步骤二:配置TLS(可选)步骤三&…

《微信小程序开发从入门到实战》学习二十七

3.4 开发参与投票页面 3.4.2 借用伪造数据开发功能 为了便于开发,新建一个编译模式: 之前没看文章,每次都习惯性填完投票创建的信息提交再跳转看效果。好累。 添加变异模式开发真方便。 另外,点击提交后没跳转到投票页面&#…

<JavaEE> 什么是线程(Thread)?进程和线程有什么区别?

目录 一、线程(Thread)的概念 二、线程存在的意义 2.1 并发编程 2.2 比进程更“轻量” 三、使用线程时应该注意 四、进程和线程的区别 五、Java中的线程和操作系统中的线程是不同的概念 六、多线程编程 一、线程(Thread)的…

Linux进程通信——信号(一)

原理 对于 Linux来说,实际信号是软中断,许多重要的程序都需要处理信号。 信号,为 Linux 提供了一种处理异步事件的方法。比如,终端用户输入了ctrlc来中断程序,会通过信号机制停止一个程序。 概述 信号的名字和编号 …

nodejs 如何将 Buffer 数据转为 String

问题说明 使用webSocket的时候出现了一个问题,前端小程序和nodejs后端建立websocket连接后,使用send方法发送到后端为buffer格式,以下为我前后端代码 1、前端小程序代码 //创建webSocket连接 const socket uni.connectSocket({url: wss…

畅捷通T6 客户端登录提示 运行时错误 372 加载控件cfloatmenu失败

客户单win10电脑, T6版本是 V7.1 不知道操作了什么每个电脑提示 运行时错误372: 从加载控件CFloatMenu失败。您的版本可能已过期。确认您使用的控件版本是同您的应用程序一起提供的。 ******* 解决办法: 找个其他电脑复制mscomctl.ocx 到操作系统目录里面注册一下,即可. …

linux网络之网络层与数据链路层

文章目录 一、网络层 1.IP协议 2.IP协议头格式 3.网段划分 4.特殊ip地址 5.IP地址的数量限制 6.私有ip和公网IP 7.路由 二、数据链路层 1.以太网 2.以太网帧格式 3.MAC地址 4.对比理解MAC地址和IP地址 5.MTU 6.ARP协议 ARP协议的工作流程 ARP数据报的格式 7.DNS 8.ICMP协议 9.N…

【Python】

Python 一、入门语法1.1 字符串的多种定义方式1.2 Python中的运算符1.3 input语句1.4 字符串格式化的方式 二、Python判断语句2.1 布尔类型和比较运算符2.2 if判断语句的基础格式2.3 if else语句的使用2.4 if_elif_else语句的使用2.5 判断语句的嵌套 三、Python循环语句3.1 whi…

操作系统(七)| 设备管理-- 端口 驱动程序 基本I/O控制 磁盘I/O

文章目录 1 设备管理概述1.1 系统总线结构1.2 设备控制器通用结构1.3 I/O设备的模型 2 I/O端口2.1 寻址方式 3 驱动程序4 基本I/O控制方式4.1 程序直接控制4.2 中断I/O方式4.3 DMA方式4.4 I/O通道控制方式 5 I/O管理中的重要思想5.1 设备独立性5.2 SPOOLing技术5.3 I/O软件的多…

C++类与对象(4)—日期类的实现

目录 一、类的创建和方法声明 二 、输出&运算符重载 三、检查合法性 1、获取对应年月的天数 2、初始化 四、实现加等和加操作 1、先写再写 2、先写再写 3、两种方式对比 五、实现自增和--自减 1、自增 2、自减 六、 实现减等和减操作 1、减等天数 2、加负数…

【开源】基于Vue.js的数据可视化的智慧河南大屏

项目编号: S 059 ,文末获取源码。 \color{red}{项目编号:S059,文末获取源码。} 项目编号:S059,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块三、系统展示四、核心代码4.1 数据模块 …

Dubbo3使用Zookeeper作为注册中心的方案讨论!详解DubboAdmin与PrettyZoo来监控服务的优劣!

文章目录 一:Dubbo注册中心的基本使用 二:Zookeeper注册中心的使用 1:依赖引入 2:实际开发 三:Zookeeper作为注册中心的使用展示 1:启动注册Zookeeper服务 2:引入注册中心 (一)&#xf…