【深度学习】强化学习(四)强化学习的值函数

文章目录

  • 一、强化学习问题
    • 1、交互的对象
    • 2、强化学习的基本要素
    • 3、策略(Policy)
    • 4、马尔可夫决策过程
    • 5、强化学习的目标函数
    • 6、值函数
      • 1. 状态值函数(State Value Function)
        • a. 状态值函数的定义
        • b. 贝尔曼方程(Bellman Equation)
      • 2. 状态-动作值函数(State-Action Value Function)
      • 3. 值函数的作用
        • a. 评估策略
        • b. 优化策略
        • c. 改进策略
        • d. 探索与利用的平衡

一、强化学习问题

  强化学习的基本任务是通过智能体与环境的交互学习一个策略,使得智能体能够在不同的状态下做出最优的动作,以最大化累积奖励。这种学习过程涉及到智能体根据当前状态选择动作,环境根据智能体的动作转移状态,并提供即时奖励的循环过程。

1、交互的对象

  在强化学习中,有两个可以进行交互的对象:智能体环境

  • 智能体(Agent):能感知外部环境的状态(State)和获得的奖励(Reward),并做出决策(Action)。智能体的决策和学习功能使其能够根据状态选择不同的动作,学习通过获得的奖励来调整策略。

  • 环境(Environment):是智能体外部的所有事物,对智能体的动作做出响应,改变状态,并反馈相应的奖励。

2、强化学习的基本要素

  强化学习涉及到智能体与环境的交互,其基本要素包括状态、动作、策略、状态转移概率和即时奖励。

  • 状态(State):对环境的描述,可能是离散或连续的。

  • 动作(Action):智能体的行为,也可以是离散或连续的。

  • 策略(Policy):智能体根据当前状态选择动作的概率分布。

  • 状态转移概率(State Transition Probability):在给定状态和动作的情况下,环境转移到下一个状态的概率。

  • 即时奖励(Immediate Reward):智能体在执行动作后,环境反馈的奖励。

3、策略(Policy)

  策略(Policy)就是智能体如何根据环境状态 𝑠 来决定下一步的动作 𝑎(智能体在特定状态下选择动作的规则或分布)。

  • 确定性策略(Deterministic Policy) 直接指定智能体应该采取的具体动作
  • 随机性策略(Stochastic Policy) 则考虑了动作的概率分布,增加了对不同动作的探索。

上述概念可详细参照:【深度学习】强化学习(一)强化学习定义

4、马尔可夫决策过程

  为了简化描述,将智能体与环境的交互看作离散的时间序列。智能体从感知到的初始环境 s 0 s_0 s0 开始,然后决定做一个相应的动作 a 0 a_0 a0,环境相应地发生改变到新的状态 s 1 s_1 s1,并反馈给智能体一个即时奖励 r 1 r_1 r1,然后智能体又根据状态 s 1 s_1 s1做一个动作 a 1 a_1 a1,环境相应改变为 s 2 s_2 s2,并反馈奖励 r 2 r_2 r2。这样的交互可以一直进行下去: s 0 , a 0 , s 1 , r 1 , a 1 , … , s t − 1 , r t − 1 , a t − 1 , s t , r t , … , s_0, a_0, s_1, r_1, a_1, \ldots, s_{t-1}, r_{t-1}, a_{t-1}, s_t, r_t, \ldots, s0,a0,s1,r1,a1,,st1,rt1,at1,st,rt,,其中 r t = r ( s t − 1 , a t − 1 , s t ) r_t = r(s_{t-1}, a_{t-1}, s_t) rt=r(st1,at1,st) 是第 t t t 时刻的即时奖励。这个交互过程可以被视为一个马尔可夫决策过程(Markov Decision Process,MDP)
在这里插入图片描述

5、强化学习的目标函数

  强化学习的目标是通过学习一个良好的策略来使智能体在与环境的交互中获得尽可能多的平均回报。强化学习的目标函数 J ( θ ) J(\theta) J(θ) 定义如下: J ( θ ) = E τ ∼ p θ ( τ ) [ G ( τ ) ] = E τ ∼ p θ ( τ ) [ ∑ t = 0 T − 1 γ t r t + 1 ] J(\theta) = \mathbb{E}_{\tau \sim p_{\theta}(\tau)}[G(\tau)] = \mathbb{E}_{\tau \sim p_{\theta}(\tau)}\left[\sum_{t=0}^{T-1} \gamma^t r_{t+1}\right] J(θ)=Eτpθ(τ)[G(τ)]=Eτpθ(τ)[t=0T1γtrt+1]其中, θ \theta θ 表示策略函数的参数, τ \tau τ 表示强化学习的轨迹, γ \gamma γ 是折扣率……

  • 这个目标函数表达的是在策略 π θ \pi_{\theta} πθ 下,智能体与环境交互得到的总回报的期望。(这个期望是对所有可能的轨迹进行的)
  • 总回报(Total Return)是对一个轨迹的累积奖励,引入折扣率(Discount Factor)来平衡短期和长期回报。
    • 总回报:对于一次交互过程的轨迹,总回报是累积奖励的和。
    • 折扣回报:引入折扣率,考虑未来奖励的权重。

6、值函数

  在强化学习中,为了评估策略 π \pi π 的期望回报,引入了值函数的概念,包括状态值函数状态-动作值函数

1. 状态值函数(State Value Function)

a. 状态值函数的定义

  状态值函数表示从某个状态开始,按照特定策略执行后获得的期望总回报。

  • 状态值函数的定义:

V π ( s ) = E τ ∼ p ( τ ) [ ∑ t = 0 T − 1 γ t r t + 1 ∣ τ s 0 = s ] V^\pi(s) = \mathbb{E}_{\tau \sim p(\tau)} \left[ \sum_{t=0}^{T-1} \gamma^t r_{t+1} \bigg| \tau_{s_0} = s \right] Vπ(s)=Eτp(τ)[t=0T1γtrt+1 τs0=s]

其中, τ \tau τ 表示强化学习的轨迹, γ \gamma γ 是折扣因子, s s s 是状态。状态值函数 V π ( s ) V^\pi(s) Vπ(s) 表示从状态 s s s 开始,执行策略 π \pi π 后获得的期望总回报。

b. 贝尔曼方程(Bellman Equation)

进一步,我们可以使用贝尔曼方程来表示状态值函数的计算:

V π ( s ) = E a ∼ π ( a ∣ s ) [ E s ′ ∼ p ( s ′ ∣ s , a ) [ r ( s , a , s ′ ) + γ V π ( s ′ ) ] ] V^\pi(s) = \mathbb{E}_{a \sim \pi(a|s)} \left[ \mathbb{E}_{s' \sim p(s'|s,a)} \left[ r(s, a, s') + \gamma V^\pi(s') \right] \right] Vπ(s)=Eaπ(as)[Esp(ss,a)[r(s,a,s)+γVπ(s)]]

  • 推导过程
    在这里插入图片描述

  • 贝尔曼方程表明,当前状态的值函数可以通过下一个状态的值函数来计算,这是强化学习中常用的迭代计算方法之一。在实际应用中,通过不断更新状态值函数,智能体可以逐步优化其策略,从而在环境中获得更好的回报。

2. 状态-动作值函数(State-Action Value Function)

  状态-动作值函数(Q函数或Q值)是另一种重要的值函数,它衡量在给定状态 s s s 下,采取特定动作 a a a 并按照某一策略执行后所获得的期望总回报。

  • 状态-动作值函数的定义:
    Q π ( s , a ) = E s ′ ∼ p ( s ′ ∣ s , a ) [ r ( s , a , s ′ ) + γ V π ( s ′ ) ] Q^\pi(s, a) = \mathbb{E}_{s' \sim p(s'|s,a)} \left[ r(s, a, s') + \gamma V^\pi(s') \right] Qπ(s,a)=Esp(ss,a)[r(s,a,s)+γVπ(s)]其中, Q π ( s , a ) Q^\pi(s, a) Qπ(s,a) 表示在状态 s s s 下采取动作 a a a 后,按照策略 π \pi π 执行的期望总回报。

  • 这个定义使用了之前介绍的状态值函数 V π ( s ) V^\pi(s) Vπ(s),表示了当前状态-动作对的价值。

  • 状态值函数和状态-动作值函数之间的关系可以通过以下方程表示: V π ( s ) = E a ∼ π ( a ∣ s ) [ Q π ( s , a ) ] V^\pi(s) = \mathbb{E}_{a \sim \pi(a|s)} \left[ Q^\pi(s, a) \right] Vπ(s)=Eaπ(as)[Qπ(s,a)]

    • 这说明状态值函数是关于动作的期望值,而状态-动作值函数则提供了每个动作在给定状态下的具体估计值
  • 状态-动作值函数满足贝尔曼方程,表示为:
    Q π ( s , a ) = E s ′ ∼ p ( s ′ ∣ s , a ) [ r ( s , a , s ′ ) + γ E a ′ ∼ π ( a ′ ∣ s ′ ) [ Q π ( s ′ , a ′ ) ] ] Q^\pi(s, a) = \mathbb{E}_{s' \sim p(s'|s,a)} \left[ r(s, a, s') + \gamma \mathbb{E}_{a' \sim \pi(a'|s')} \left[ Q^\pi(s', a') \right] \right] Qπ(s,a)=Esp(ss,a)[r(s,a,s)+γEaπ(as)[Qπ(s,a)]]

  • Q函数的不断迭代计算可以帮助智能体更好地理解状态和动作的关联,从而制定更优化的策略。在深度强化学习中,Q函数的使用更为普遍,特别是在处理复杂、连续状态和动作空间的问题时。

3. 值函数的作用

  值函数的引入为强化学习提供了一种有效的手段,使得我们可以通过对值函数的优化来改进策略,从而使智能体更好地在环境中行动。

  • 状态值函数 V π ( s ) V^{\pi}(s) Vπ(s)

    • 评估在状态 s s s 下采用策略 π \pi π 的效果,即从状态 s s s 出发,执行策略 π \pi π 所获得的期望总回报。
    • 可以用来比较不同状态的价值,帮助智能体决策。
  • 状态-动作值函数 Q π ( s , a ) Q^{\pi}(s, a) Qπ(s,a):

    • 评估在状态 s s s 下采取动作 a a a 并执行策略 π \pi π 的效果,即获得的期望总回报。
    • 可以用来指导智能体在给定状态下选择最优动作。
a. 评估策略

  值函数可以用于评估给定策略的好坏:比如,状态值函数 V π ( s ) V^\pi(s) Vπ(s) 表示在策略 π \pi π 下,从状态 s s s 开始执行策略的期望总回报,通过评估状态值函数,我们可以了解在不同状态下策略的性能,并比较不同策略之间的优劣。
V π ( s ) = E τ ∼ π [ G ( τ ) ∣ τ 0 = s ] V^\pi(s) = \mathbb{E}_{\tau \sim \pi} \left[ G(\tau) \mid \tau_0 = s \right] Vπ(s)=Eτπ[G(τ)τ0=s]

b. 优化策略

  基于值函数,我们可以通过优化策略来提高智能体的性能:当我们在某个状态 s s s 发现一个动作 a ∗ a^* a 使得 Q π ( s , a ∗ ) > V π ( s ) Q^\pi(s, a^*) > V^\pi(s) Qπ(s,a)>Vπ(s),即执行动作 a ∗ a^* a 的回报比当前策略的状态值更高,我们可以调整策略的参数,增加在状态 s s s 选择动作 a ∗ a^* a 的概率,从而优化策略。

π ′ ( a ∣ s ) = { π ( a ∣ s ) + ϵ if  a = a ∗ π ( a ∣ s ) − ϵ if  a ≠ a ∗ \pi'(a|s) = \begin{cases} \pi(a|s) + \epsilon & \text{if } a = a^* \\ \pi(a|s) - \epsilon & \text{if } a \neq a^* \end{cases} π(as)={π(as)+ϵπ(as)ϵif a=aif a=a
这个过程可以通过各种优化算法实现,例如梯度上升法(Policy Gradient Methods)。

c. 改进策略

  通过值函数的指导,我们可以设计更智能的策略,不仅考虑当前状态的回报,还能充分考虑长期的影响。

d. 探索与利用的平衡

  通过对值函数的估计,智能体可以更好地判断哪些动作可能导致更高的回报,从而在探索新动作和利用已知好动作之间找到平衡。

  值函数在强化学习中起到了桥梁的作用,连接了策略、状态和动作的关系。它们是智能体学习和改进的核心工具,使其能够在未知环境中获得最大的累积奖励。在深度强化学习中,利用深度神经网络逼近值函数,使其能够应对更复杂的状态和动作空间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/263923.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

class069 从递归入手三维动态规划【算法】

class069 从递归入手三维动态规划 code1 474. 一和零 // 一和零(多维费用背包) // 给你一个二进制字符串数组 strs 和两个整数 m 和 n // 请你找出并返回 strs 的最大子集的长度 // 该子集中 最多 有 m 个 0 和 n 个 1 // 如果 x 的所有元素也是 y 的元素,集合 x 是…

深入浅出分析kafka客户端程序设计 ----- 生产者篇----万字总结

前面在深入理解kafka中提到的只是理论上的设计原理, 本篇讲得是基于c语言的kafka库的程序编写!!!!! 首先要编写生产者的代码,得先知道生产者的逻辑在代码上是怎么体现的 1.kafka生产者的逻辑 …

深度学习——第4.1章 深度学习的数学基础

第4章 深度学习的数学基础 目录 4.1 向量 4.2 求和符号 4.3 累乘符号 4.4 导数 4.5 偏导数 4.6 矩阵 4.7 指数函数和对数函数 注意:4.6和4.7位于4.2章 第4章 深度学习的数学基础 本章总结一下机器学习所需的数学知识,同时介绍如何在Python中使用…

Multisim电路仿真软件使用教程

安装直接参考这篇文章:Multisim 14.0安装教程 软件管家公众号里有很多软件,需要的可以去找下然后安装,这里用的是14.0版本。 这里有个大神的详细教程,可以参考: Multisim软件使用详细入门教程(图文全解&…

【Android12】Android Framework系列--AMS启动Activity分析

AMS启动Activity分析 通过ActivityManagerService(AMS)提供的方法,可以启动指定的Activity。比如Launcher中点击应用图标后,调用AMS的startActivity函数启动应用。 AMS提供的服务通过IActivityManager.aidl文件定义。 // frameworks/base/core/java/an…

mysql数据库文件丢失恢复---惜分飞

客户服务器重启,mysql相关数据文件丢失 通过底层工具进行分析,无法正确恢复数据库名字,一个个单个ibd文件(而且很多本身是错误的) 对于这种情况,通过mysql block扫描恢复出来page文件 恢复出来客户需要数据 这个客户出现该故障的原因大概率是由于文件系统损坏导致.最终…

[ 蓝桥杯Web真题 ]-布局切换

目录 介绍 准备 目标 规定 思路 解法参考 介绍 经常用手机购物的同学或许见过这种功能,在浏览商品列表的时候,我们通过点击一个小小的按钮图标,就能快速将数据列表在大图(通常是两列)和列表两种布局间来回切换。…

四. 基于环视Camera的BEV感知算法-BEVFormer

目标 前言0. 简述1. 算法动机&开创性思路2. 主体结构3. 损失函数4. 性能对比5. BEVFormerv2总结下载链接参考 前言 自动驾驶之心推出的《国内首个BVE感知全栈系列学习教程》,链接。记录下个人学习笔记,仅供自己参考 本次课程我们来学习下课程第四章—…

【数据结构实践课设】新生报道注册管理信息系统

目录 1.主要框架 2.写入文件 3.读取文件 4.注册学生信息 5.增加学生信息 6.删除学生信息 7.按姓名查询 8.按班级查询 9.按专业查询 10.打印学生信息 11.完整代码 🌈嗨!我是Filotimo__🌈。很高兴与大家相识,希望我的博客能对你有所…

关于图像清晰度、通透度的描述

1、问题背景 在图像评测过程中,从主观上一般怎么去评判一副图像的优劣呢? 比较显而易见的就是图像的清晰度和通透度,他们决定了评判者对画质的第一印象。 那怎么去理解图像的清晰度和通透度呢?这是本文要描述的内容。 2、问题分…

单调栈结构

单调栈 单调栈是一种特殊设计的栈结构,为了解决如下的问题: 给定一个可能含有重复数值的 arr[],i位置的数一定存在如下两种信息: arr[i]的左侧离 i 最近并且小于(或者大于)arr[i] 的数在哪?arr…

《深入理解计算机系统》学习笔记 - 第四课 - 浮点数

Floating Point 浮点数 文章目录 Floating Point 浮点数分数二进制示例能代表的数浮点数的表示方式浮点数编码规格化值规格化值编码示例 非规格化的值特殊值 示例IEEE 编码的一些特殊属性四舍五入,相加,相乘四舍五入四舍五入的模式二进制数的四舍五入 浮…