mobile wallpaper 1
mobile wallpaper 2
mobile wallpaper 3
mobile wallpaper 4
Profile Image of the Author
onemotre zephyr
公告
欢迎来到onemotre的博客
标签
3226 字
8 分钟
【RL】强化学习入门
2026-08-20
Algorithm
Algorithm
/
math
/
Reinforcement-Learning

强化学习入门#

现在的强化学习方法及奖励设置五花八门，但基本的原理可以说是万变不离其宗。这篇博客会从马尔可夫过程开始，总结强化学习中的常见原理。为工程实践提供理论基础。

马尔可夫决策过程#

马尔可夫性质#

当且仅当某时刻的状态只取决于上一时刻的状态时，一个随机过程被称为具有马尔可夫性质（Markov property）

马尔可夫性的出发点是 St−1S_{t-1} 就包括了 tt 时刻之前的历史信息，因此可以直接通过 t−1t-1 时刻的状态来预测 tt 时刻的状态。这个假设可以简化大量的计算。

P(St∣S1,…,St−1)=P(St∣St−1)P(S_t | S_1, \dots,S_{t-1}) = P(S_t|S_{t-1})

马尔可夫过程（MP）#

马尔可夫过程（Markov process）指具有马尔可夫性质的随机过程，也被称为马尔可夫链（Markov chain）。

使用马尔可夫转移矩阵 P\mathcal{P} 来描述马尔可夫过程 <S,P><\mathcal{S}, \mathcal{P}>：

P=[P(s1∣s1)⋯P(sn∣s1)⋮⋱⋮P(s1∣sn)⋯P(sn∣sn)]\mathcal{P}=\left[\begin{array}{ccc} P\left(s_{1} \mid s_{1}\right) & \cdots & P\left(s_{n} \mid s_{1}\right) \\ \vdots & \ddots & \vdots \\ P\left(s_{1} \mid s_{n}\right) & \cdots & P\left(s_{n} \mid s_{n}\right) \end{array}\right]

马尔可夫奖励过程（MRP）#

在马尔可夫过程的基础上加入奖励函数 rr 和折扣因子 γ\gamma ，就可以得到马尔可夫奖励过程（Markov reward process, MRP）。

马尔可夫过程通过概率建模了一条样本的表达形式，而马尔可夫奖励过程 <S,P,r,γ><\mathcal{S}, \mathcal{P}, r, \gamma> 则描述了一条样本的价值。

计算一条样本的回报(Return)：

Gt=Rt+γRt+1+γ2Rt+2+⋯=∑k=0∞γkRt+kG_{t}=R_{t}+\gamma R_{t+1}+\gamma^{2} R_{t+2}+\cdots=\sum_{k=0}^{\infty} \gamma^{k} R_{t+k}

在马尔可夫奖励过程中，一个状态的期望回报（即从这个状态出发的未来累积奖励的期望）被称为这个状态的价值（value）。

V(s)=E[Gt∣St=s]=E[Rt+γRt+1+γ2Rt+2+…∣St=s]=E[Rt+γ(Rt+1+γRt+2+… )∣St=s]=E[Rt+γGt+1∣St=s]=E[Rt+γV(St+1)∣St=s]\begin{aligned} V(s) &= \mathbb{E}[G_t | S_t = s] \\ &= \mathbb{E}[R_t + \gamma R_{t+1} + \gamma^2 R_{t+2} + \dots | S_t = s] \\ &= \mathbb{E}[R_t + \gamma (R_{t+1} + \gamma R_{t+2} + \dots) | S_t = s] \\ &= \mathbb{E}[R_t + \gamma G_{t+1} | S_t = s] \\ &= \mathbb{E}[R_t + \gamma V(S_{t+1}) | S_t = s] \end{aligned}

一个状态的”价值”是这个其未来可能状态的期望。

上式进一步化简，当前时刻的奖励就是奖励函数本身：E[Rt∣St=s]=r(s)\mathbb{E}[R_t | S_t = s] = r(s)；下一状态的价值，可以由当前状态的转移求得（马尔可夫性）:γE[V(St+1)∣St=s]=γ∑s′∈Sp(s′∣St)V(s′)\gamma\mathbb{E}[V(S_{t+1})|S_t=s]=\gamma\sum_{s'\in S}p(s' | S_t)V(s')（见条件期望）。由此可以得到贝尔曼方程（Bellman equation）：

V(s)=r(s)+γ∑s′∈Sp(s′∣s)V(s′)V(s) = r(s) + \gamma \sum_{s' \in S} p(s' | s)V(s')

贝尔曼方程的矩阵形式：

V=R+γPV\mathcal{V} = \mathcal{R} + \gamma \mathcal{P}\mathcal{V} \\

其中V=[V(s1),⋯ ]T\mathcal{V} = [V(s_1),\cdots]^T，R=[R(s1),⋯ ]T\mathcal{R} = [R(s_1),\cdots]^T，P\mathcal{P}为状态转移矩阵。

通过移项：

V=(I−γP)−1R\mathcal{V} = (I-\gamma\mathcal{P})^{-1}\mathcal{R}

（V(si)V(s_i)对应V\mathcal{V}第ii行的数据）

马尔可夫决策过程（MDP）#

马尔可夫过程和马尔可夫奖励过程都是自发改变的随机过程；如果给这个过程添加某种“自发性”，就有了马尔可夫决策过程（Markov decision process，MDP）

“自发性”根据当前过程的状态ss输出动作aa来驱动MDP的状态改变。这种“自发性”就是一种策略（Policy），数学表示为π(a∣s)\pi(a|s)，指导马尔可夫过程的状态转移。策略可以是一个状态机，也可以是一个概率模型。

总的来说，我们可以将MDP建模为<S,A,P,R,γ><\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma>，将“规则”表示条件概率模型π(A∣S)\pi(\mathcal{A}|\mathcal{S})。

整个过程的价值需要从两个方面来看：状态价值与动作价值。

状态价值（state-value function），为从状态ss出发，遵循策略π\pi获得的期望回报：

Vπ(s)=Eπ[Gt∣St=s]V^{\pi}(s) = \mathbb{E}_\pi[G_t | S_t = s]

动作价值（action-calue function），为当前状态ss执行动作aa得到的期望回报：

Qπ(s,a)=E[Gt∣St=s,At=a]Q^\pi(s,a)=\mathbb{E}[G_t | S_t = s, A_t = a]

取得的状态价值与动作价值是相关联的：

在使用策略π\pi中，状态ss的价值等于在该状态下基于策略π\pi采取所有动作的概率与相应的价值相乘再求和的结果：

Vπ(s)=∑a∈Aπ(a∣s)Qπ(s,a)V^{\pi}(s) = \sum_{a\in A} \pi(a|s)Q^\pi(s,a)

使用策略π\pi时，状态ss下采取动作aa的价值等于即时奖励加上经过衰减后的所有可能的下一个状态的状态转移概率与相应的价值的乘积：

Qπ(s,a)=r(s,a)+γ∑s′∈SP(s′∣s,a)Vπ(s′)Q^\pi(s, a) = r(s, a) + \gamma \sum_{s' \in S} P(s' | s, a) V^\pi(s')

将两者的期望方程展开，可以得到两个价值函数的贝尔曼期望方程：

状态价值：

Vπ(s)=Eπ[Rt+γVπ(St+1)∣St=s]=∑a∈Aπ(a∣s)(r(s,a)+γ∑s′∈Sp(s′∣s,a)Vπ(s′))\begin{aligned} V^\pi(s) &= \mathbb{E}_\pi [R_t + \gamma V^\pi(S_{t+1}) | S_t = s] \\ &= \sum_{a \in A} \pi(a|s) \left( r(s, a) + \gamma \sum_{s' \in S} p(s'|s, a) V^\pi(s') \right) \end{aligned}

动作价值：

Qπ(s,a)=Eπ[Rt+γQπ(St+1,At+1)∣St=s,At=a]=r(s,a)+γ∑s′∈Sp(s′∣s,a)∑a′∈Aπ(a′∣s′)Qπ(s′,a′)\begin{aligned} Q^\pi(s, a) &= \mathbb{E}_\pi [R_t + \gamma Q^\pi(S_{t+1}, A_{t+1}) | S_t = s, A_t = a] \\ &= r(s, a) + \gamma \sum_{s' \in S} p(s'|s, a) \sum_{a' \in A} \pi(a'|s') Q^\pi(s', a') \end{aligned}

补充#

状态访问分布（state visitation distribution）#

状态访问概率表示一个策略和 MDP 交互会访问到的状态的分布。

νπ(s)=(1−γ)∑t=0∞γtPtπ(s)\nu^\pi(s) = (1-\gamma)\sum^{\infty}_{t=0}\gamma^tP_t^\pi(s)

Ptπ(s)P_t^\pi(s)表示采取策略π\pi使得智能体在tt时刻状态为ss的概率，因此有Ptπ(s)=ν0(s)P_t^\pi(s)=\nu_0(s)

价值优化#

价值优化是强化学习中的一类优化范式。尽可能精确地估计马尔可夫决策过程状态空间的未来回报，在通过贪心规则：

π(s)=arg⁡max⁡aQ(s,a)\pi (s) = \arg \max_{a}Q(s,a)

派生出最优策略。

已有的优化方法包括Q-learning, DQN以及DQN的改进算法。

策略梯度（Policy Gradient，PG）#

一种基于策略的优化方式。定义了策略学习的目标函数：

J(θ)=Es0[Vπθ(s0)]J(\theta)=\mathbb{E}_{s_0}[V^{\pi_\theta}(s_0)]

其中，s0s_0表示初始状态。θ\theta是随机策略π\pi的参数。表示从初始状态s0s_0出发，计算价值VV，然后对所有可能的初始状态求平均。而价值VπθV^{\pi_\theta}是这一个完整状态序列的轨迹：s0→a0→s1→…s_0 \rightarrow a_0 \rightarrow s_1 \rightarrow \dots（奖励过程）。在某个策略下，智能体访问某个状态的概率分布在状态访问分布这一步已经给出——νπ(s)\nu^\pi(s)，又因为价值函数可以被展开为：

Vπθ(s0)=Ea0∼πθ[Qπθ(s0,a0)]V^{\pi_\theta}(s_0) = \mathbb{E}_{a_0 \sim \pi_\theta}[Q^{\pi_\theta}(s_0, a_0)]

用数理统计的方法来处理，可以得到目标函数：

J(θ)=∑sνπθ(s)∑aQπθ(s,a)πθ(a∣s)J(\theta)=\sum_s\nu^{\pi_\theta}(s)\sum_a Q^{\pi_\theta}(s,a)\pi_\theta(a|s)
NOTE

从这一步开始，目标函数期望的下标就可以从s0s_0写成πθ\pi_\theta了。因为当我们取梯度并应用策略梯度定理时，状态s0s_0的分布会沿着策略的轨迹传播。所以整个表达式变成了关于由策略πθ\pi_\theta诱导出的轨迹的期望。

当对策略进行优化时，需要对θ\theta进行求导，而这个求导会沿着轨迹向后传播。直接求导基本上没办法计算：

∇θJ(θ)=∑s∇θνπθ(s)⋅(∑aQπθ(s,a)πθ(a∣s))+∑sνπθ(s)∑a[∇θQπθ(s,a)]πθ(a∣s)+∑sνπθ(s)∑aQπθ(s,a)∇θπθ(a∣s)\begin{aligned} \nabla_\theta J(\theta) &= \sum_s \nabla_\theta \nu^{\pi_\theta}(s)\cdot(\sum_a Q^{\pi_\theta}(s,a)\pi_\theta(a|s)) \\ &+\sum_s\nu^{\pi_\theta}(s)\sum_a [\nabla_\theta Q^{\pi_\theta}(s,a)]\pi_\theta(a|s) \\ &+\sum_s\nu^{\pi_\theta}(s)\sum_a Q^{\pi_\theta}(s,a) \nabla_\theta\pi_\theta(a|s) \end{aligned}

逐项分析：

  1. 第一项：状态分布随策略的变化
    1. 状态的访问概率取决于环境的状态转移概率（马尔可夫决策过程）P(s′∣s,a)P(s'|s, a)，但智能体无法观测环境内部的物理规律，因此无法求导。
  2. 第二项：动作价值随策略的变化
    1. QQ中包含了未来所有时刻的奖励，展开也需要用到环境模型PP，无法求导。

策略梯度定理： 对于折扣回报（折扣因子γ\gamma），有：

\nabla_\theta J(\theta) = \frac{1}{1-\gamma} \sum_{s\in S}\nu^{\pi}(s) \sum_{a \in A}\nabla_\theta \pi_\theta(a|s)\cdot Q^{\pi_\theta}(s,a)
$$

策略梯度定理揭示了，因为ν\nu和QQ本质上都是与环境的状态转移PP相关的，而与真实策略参数θ\theta无关，所以梯度直接消失。

由策略梯度定理进一步化简（求导的链式法则），可以得到梯度的期望表达式：

∇θJ(θ)∝Eπθ[Qπθ(s,a)∇θlog⁡πθ(a∣s)]\nabla_\theta J(\theta) \propto \mathbb{E}_{\pi_\theta}[Q^{\pi_\theta}(s,a)\nabla_\theta \log\pi_\theta(a|s)]

Actor Critic#

Actor Critic则是当前（2026）最主流的一种训练范式。根据迭代方式的不同，在Actor Critic的框架下，还诞生了TRPO，PPO等主流强化学习算法。

Actor Critic的思想是训练策略的网络（Actor）的同时，训练价值网络（Critic）指导策略网络输出价值更高的动作。

强化学习的三大范式

马尔可夫决策过程（MDP）给定了一个随机过程基础建模。之后的强化学习算法都是基于这个假设本身进行构建的。 在MDP中，我们的最终目的是给出一个最优的策略π\pi，能够在任何状态下，给出价值最高的操作（因为马尔可夫性，每个时刻的状态只与上一时刻的状态有关，因此可以保证能满足这个条件的策略就是整个过程的最优策略）。 强化学习的第一种范式就是基于这个朴素的思想——只训练策略函数。核心代表是蒙特卡洛策略梯度。通过大量的枚举策略，计算价值，最终迭代出最优策略。 第二种范式稍微有点反直觉，通过训练价值函数得到整个状态空间中状态最优的一条路径，策略只需要通过贪心算法，得到π(s)=argmax⁡Q(s,a)\pi(s)=\text{arg}\max Q(s,a)。这种方式将策略优化问题转化为了价值回归模型。在离散动作空间表现比较优秀。 第三种范式就是Actor Critic这种既训练策略网络Actor，还要训练价值网络Critic。

训练策略网络Actor的目标自然是最大化策略获取的价值。而在训练的方式上，诞生了不同的算法，例如可信域优化（Trust Region Policy Optimization, TRPO），近端策略优化（Proximal Policy Optimization, PPO），旨在提高策略输出的质量。

训练价值网络Critic的目标是预测当前状态的价值。通过贝尔曼期望方程，我们知道一个MDP在某个状态采取某个动作的价值是一定的，但方程本身是一个无穷级数，计算机难以计算，或者说无法计算。因此我们需要一个回归模型用更少计算量，预测当前动作的价值。

可信域优化（Trust Region Policy Optimization, TRPO）#

TRPO在PG的基础上，提出了优势函数的概念。通过优势函数直接评价当前策略的价值函数J(θ)J(\theta)与新策略价值函数J(θ′)J(\theta')之间的关系。

优化目标#

旧策略的价值函数可以写成关于新参数的期望：

J(θ)=Es0[Vπθ(s0)]=Eπθ′[∑t=0∞γtVπθ(st)−∑t=1∞γtVπθ(st)]=−Eπθ′[∑t=0∞γt(γVπθ(st+1)−Vπθ(st))]\begin{aligned} J(\theta) & =\mathbb{E}_{s_{0}}\left[V^{\pi_{\theta}}\left(s_{0}\right)\right] \\ & =\mathbb{E}_{\pi_{\theta^{\prime}}}\left[\sum_{t=0}^{\infty} \gamma^{t} V^{\pi_{\theta}}\left(s_{t}\right)-\sum_{t=1}^{\infty} \gamma^{t} V^{\pi_{\theta}}\left(s_{t}\right)\right] \\ & =-\mathbb{E}_{\pi_{\theta^{\prime}}}\left[\sum_{t=0}^{\infty} \gamma^{t}\left(\gamma V^{\pi_{\theta}}\left(s_{t+1}\right)-V^{\pi_{\theta}}\left(s_{t}\right)\right)\right] \end{aligned}
NOTE

这里的下标变化来自于裂项相消。对于任意一条轨迹，总成立：

Vπθ(s0)=∑t=0∞γtVπθ(st)−∑t=1∞γtVπθ(st)V^{\pi_\theta}(s_0)=\sum_{t=0}^{\infty} \gamma^{t} V^{\pi_{\theta}}\left(s_{t}\right)-\sum_{t=1}^{\infty} \gamma^{t} V^{\pi_{\theta}}\left(s_{t}\right)

而最开始的状态s0s_0的价值函数与策略是无关的，因此可以直接将下标写为πθ′\pi_{\theta'}

基于上述等式，可以写出J(θ′)−J(θ)J(\theta') - J(\theta)：

J(θ′)−J(θ)=Es0[Vπθ′(s0)]−Es0[Vπθ(s0)]=Eπθ′[∑t=0∞γtr(st,at)]+Eπθ′[∑t=0∞γt(γVπθ(st+1)−Vπθ(st))]=Eπθ′[∑t=0∞γt[r(st,at)+γVπθ(st+1)−Vπθ(st)]] \begin{aligned} J\left(\theta^{\prime}\right)-J(\theta) & =\mathbb{E}_{s_{0}}\left[V^{\pi_{\theta^{\prime}}}\left(s_{0}\right)\right]-\mathbb{E}_{s_{0}}\left[V^{\pi_{\theta}}\left(s_{0}\right)\right] \\ & =\mathbb{E}_{\pi_{\theta^{\prime}}}\left[\sum_{t=0}^{\infty} \gamma^{t} r\left(s_{t}, a_{t}\right)\right]+\mathbb{E}_{\pi_{\theta^{\prime}}}\left[\sum_{t=0}^{\infty} \gamma^{t}\left(\gamma V^{\pi_{\theta}}\left(s_{t+1}\right)-V^{\pi_{\theta}}\left(s_{t}\right)\right)\right] \\ & =\mathbb{E}_{\pi_{\theta^{\prime}}}\left[\sum_{t=0}^{\infty} \gamma^{t}\left[r\left(s_{t}, a_{t}\right)+\gamma V^{\pi_{\theta}}\left(s_{t+1}\right)-V^{\pi_{\theta}}\left(s_{t}\right)\right]\right] \end{aligned}

将上述的时序差分残差定义为优势函数，可以得到下式：

Eπθ′[∑t=0∞γtAπθ(st,at)]=∑t=0∞γtEst∼Ptπθ′Eat∼πθ′(⋅∣st)[Aπθ(st,at)]=11−γEs∼νπθ′Ea∼πθ′(⋅∣s)[Aπθ(s,a)]\begin{aligned} \mathbb{E}_{\pi_{\theta^{\prime}}}\left[\sum_{t=0}^{\infty} \gamma^{t} A^{\pi_{\theta}}\left(s_{t}, a_{t}\right)\right] =&\sum_{t=0}^{\infty} \gamma^{t} \mathbb{E}_{s_{t} \sim P_{t}^{\pi_{\theta^{\prime}}}} \mathbb{E}_{a_{t} \sim \pi_{\theta^{\prime}}\left(\cdot \mid s_{t}\right)}\left[A^{\pi_{\theta}}\left(s_{t}, a_{t}\right)\right] \\ =&\frac{1}{1-\gamma} \mathbb{E}_{s \sim \nu^{\pi_{\theta^{\prime}}}} \mathbb{E}_{a \sim \pi_{\theta^{\prime}}(\cdot \mid s)}\left[A^{\pi_{\theta}}(s, a)\right] \end{aligned}

优势函数本身描述的是在某个策略下，未来所有相邻时刻获得价值的差分的总和。有了优势函数之后，只需要保证Es∼νπθ′Ea∼πθ′(⋅∣s)[Aπθ(s,a)]≥0\mathbb{E}_{s \sim \nu^{\pi_{\theta^{\prime}}}} \mathbb{E}_{a \sim \pi_{\theta^{\prime}}(\cdot \mid s)}\left[A^{\pi_{\theta}}(s, a)\right]\geq 0就能保证策略单调递增。

但是直接求解该式是非常困难的，因为πθ′\pi_{\theta'}是需要求解的策略，但我们又要用它来收集样本。把所有可能的新策略都拿来收集数据，然后判断哪个策略满足上述条件的做法显然是不现实的。于是 TRPO 做了一步近似操作，对状态访问分布进行了相应处理。具体而言，忽略两个策略之间的状态访问分布变化，直接采用旧的策略πθ\pi_\theta的状态分布，定义如下替代优化目标：

Lθ(θ′)=J(θ)+11−γEs∼νπθ′Ea∼πθ′(⋅∣s)[Aπθ(s,a)]L_\theta(\theta') = J(\theta)+\frac{1}{1-\gamma} \mathbb{E}_{s \sim \nu^{\pi_{\theta^{\prime}}}} \mathbb{E}_{a \sim \pi_{\theta^{\prime}}(\cdot \mid s)}\left[A^{\pi_{\theta}}(s, a)\right]

用重要性采样对动作分布进行处理，得到式子：

Lθ(θ′)=J(θ)+Es∼νπθ′Ea∼πθ′(⋅∣s)[πθ′(a∣s)πθ(a∣s)Aπθ(s,a)]L_\theta(\theta') = J(\theta)+\mathbb{E}_{s \sim \nu^{\pi_{\theta^{\prime}}}} \mathbb{E}_{a \sim \pi_{\theta^{\prime}}(\cdot \mid s)}\left[\frac{\pi_{\theta'}(a|s)}{\pi_{\theta}(a|s)}A^{\pi_{\theta}}(s, a)\right]

这样就可以依据当前策略πθ\pi_\theta采样的数据优化新策略。为了保证新旧策略足够接近，TRPO 使用了库尔贝克-莱布勒（Kullback-Leibler，KL）散度来衡量策略之间的距离，并给出了整体的优化公式：

max⁡θ′ Lθ(θ′)s.t.Es∼νπθk[DKL(πθk(⋅∣s),πθ′(⋅∣s))]≤δ \begin{gather} \max_{\theta'}\ L_{\theta}(\theta') \\ \text{s.t.}\quad \mathbb{E}_{s\sim\nu^{\pi_{\theta_k}}}[D_{KL}(\pi_{\theta_k}(\cdot|s), \pi_{\theta'}(\cdot|s))]\leq \delta \end{gather}

TRPO的”Region”就来自于KL散度约束的区域。数学上，KL散度使用黑塞矩阵（Hessian matrix）来表示。

补充#

求解方式#

给定了优化函数与约束条件，TRPO的求解仍然是一个困难。重点在于采样，以及如何进行优化函数的求解。

广义优势估计（Generalized Advantage Estimation, GAE）#

每一步进行优势估计：

At(1)=δt=−V(st)+rt+γV(st+1)At(2)=δt+γδt+1=−V(st)+rt+γrt+1+γ2V(st+2)At(3)=δt+γδt+1+γ2δt+2=−V(st)+rt+γrt+1+γ2rt+2+γ3V(st+3)⋮⋮At(k)=∑l=0k−1γlδt+l=−V(st)+rt+γrt+1+…+γk−1rt+k−1+γkV(st+k)\begin{array}{l} A_{t}^{(1)}=\delta_{t} & = & -V\left(s_{t}\right)+r_{t}+\gamma V\left(s_{t+1}\right) \\ A_{t}^{(2)}=\delta_{t}+\gamma \delta_{t+1} & = & -V\left(s_{t}\right)+r_{t}+\gamma r_{t+1}+\gamma^{2} V\left(s_{t+2}\right) \\ A_{t}^{(3)}=\delta_{t}+\gamma \delta_{t+1}+\gamma^{2} \delta_{t+2} & = & -V\left(s_{t}\right)+r_{t}+\gamma r_{t+1}+\gamma^{2} r_{t+2}+\gamma^{3} V\left(s_{t+3}\right) \\ \vdots & & \vdots \\ A_{t}^{(k)}=\sum_{l=0}^{k-1} \gamma^{l} \delta_{t+l} & = & -V\left(s_{t}\right)+r_{t}+\gamma r_{t+1}+\ldots+\gamma^{k-1} r_{t+k-1}+\gamma^{k} V\left(s_{t+k}\right) \end{array}

GAE为不同步数的优势估计的指数加权平均：

AtGAE=(1−λ)(At(1)+λAt(2)+λ2At(3)+⋯ )=(1−λ)(δt+λ(δt+γδt+1)+λ2(δt+γδt+1+γ2δt+2)+⋯ )=(1−λ)(δ(1+λ+λ2+⋯ )+γδt+1(λ+λ2+λ3+⋯ )+γ2δt+2(λ2+λ3+λ4+…)+⋯ )=(1−λ)(δt11−λ+γδt+1λ1−λ+γ2δt+2λ21−λ+⋯ )=∑l=0∞(γλ)lδt+l\begin{aligned} A_{t}^{G A E} & =(1-\lambda)\left(A_{t}^{(1)}+\lambda A_{t}^{(2)}+\lambda^{2} A_{t}^{(3)}+\cdots\right) \\ & =(1-\lambda)\left(\delta_{t}+\lambda\left(\delta_{t}+\gamma \delta_{t+1}\right)+\lambda^{2}\left(\delta_{t}+\gamma \delta_{t+1}+\gamma^{2} \delta_{t+2}\right)+\cdots\right) \\ & =(1-\lambda)\left(\delta\left(1+\lambda+\lambda^{2}+\cdots\right)+\gamma \delta_{t+1}\left(\lambda+\lambda^{2}+\lambda^{3}+\cdots\right)+\gamma^{2} \delta_{t+2}\left(\lambda^{2}+\lambda^{3}+\lambda^{4}+\ldots\right)+\cdots\right) \\ & =(1-\lambda)\left(\delta_{t} \frac{1}{1-\lambda}+\gamma \delta_{t+1} \frac{\lambda}{1-\lambda}+\gamma^{2} \delta_{t+2} \frac{\lambda^{2}}{1-\lambda}+\cdots\right) \\ & =\sum_{l=0}^{\infty}(\gamma \lambda)^{l} \delta_{t+l} \end{aligned}

近端优化（Proximl Policy Optimization, PPO）#

PPO算法与TRPO算法的区别在于对于参数 θ\theta 的约束。为了模型能从示范分布 θ′\theta' 中学习参数，就必须让我们学习的参数 θ\theta 与示范数据中的 θ′\theta' （未知）的分布差距不大。TRPO使用KL散度作为约束项来约束优化目标。而PPO算法直接将约束放在优化目标函数上。目前的PPO算法有两种实现方式：近端策略优化惩罚（PPO-penalty）与近端策略优化裁剪（PPO-clip）

PPO-penalty#

JPPOθ′(θ)=Jθ′(θ)−βKL(θ,θ′)J^{\theta'}_{\text{PPO}}(\theta) = J^{\theta'}(\theta) - \beta \text{KL}(\theta, \theta')

通过KL散度动态调整惩罚参数 β\beta ，更像是使用惩罚法去求解TRPO算法。

参考资料#

分享

如果这篇文章对你有帮助，欢迎分享给更多人！

【RL】强化学习入门
https://onemom.top/posts/rl/
作者
onemotre zephyr
发布于
2026-08-20
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

【Manual】Ubuntu 开发环境配置
【DotFile】如何优雅地配置使用Fcitx5——一文搞懂如何配置fcitx5环境变量
相关文章 智能推荐
1
【计算机基础】KD-Tree原理及其优化
Algorithm KD-Tree原理及其优化
2
【计算机基础】基础算法模板
Algorithm 基础算法：数据结构等的C++模板
3
【Manual】Ubuntu 开发环境配置
Manual Ubuntu环境配置Command
4
【DotFile】如何优雅地配置使用Fcitx5——一文搞懂如何配置fcitx5环境变量
Guidence 如何配置Fcitx5，以Fedora为例
5
【ROS】ROS+Docker：分离工作系统与ROS版本紧耦合
Guidence ROS+Docker的工作流
随机文章 随机推荐
1
【Python】Python中的修饰器
Guidence 2025-12-25
2
【ROS】ROS+Docker：分离工作系统与ROS版本紧耦合
Guidence 2026-05-24
3
【Manual】Ubuntu 开发环境配置
Manual 2026-08-31
4
【Manual】Linux server运维问题
Manual 2025-10-24
5
【DotFile】如何优雅地配置使用Fcitx5——一文搞懂如何配置fcitx5环境变量
Guidence 2026-05-26
© 2026 onemotre zephyr. All Rights Reserved. / RSS / Atom / Sitemap
Powered by Astro & Mizuki  Version 9.0

目录