3.1.2 动态规划的几个概念
1.阶段（stage）
阶段（又称级或步）是指所研究的事物在其发展过程中所处的时段或地段。对离散系列，用序列编号i=1，2，…，n 表示，i 称为阶段变量。可以是时间或空间。如例题中i=1，2，3，4。
2.状态（state）
在多阶段决策过程中，各阶段演变可能发生的情况，称为状态。描述状态的变量称为状态变量。可用Si表示i阶段的状态集合，可用该阶段初始状态或末状态集合表示。如i阶段有m 个状态变量，则集合为Si= {Si1，Si2，…，Sin}。如例题中S1= {A}或S2= {E1，E2}，也可以写成S0= {A}或S1= {E1，E2}
3.决策（decision）
决策是其阶段状态给定之后，从该状态演变到下一阶段某状态的一种选择。描写决策变化的量，称为决策变量，用di（Si）来表示。
如例题中，d1（A）=E1或者d1（A）=E2。决策变量的取值称为允许决策集合或决策空间。如状态A 的决策空间为d1（A）={E1、E2}。
4.策略（policy）
策略是指一个决策序列，分为：全过程策略——最优策略；子策略。
5.状态转移方程、费用（效益）函数、目标函数
（1）状态转移方程。若过程第i阶段，其初始状态Si通过决策di转变为该阶段的末状态Si+1则可以写为
它表示第i阶段到i+1阶段的状态转移规律，称为状态转移方程。该方程把阶段变量i、决策变量d 和状态变量S 三者联系起来。说明在确定性的决策过程中，下阶段的状态完全由当前阶段的状态和决策所决定，而与以前阶段的状态无关。
（2）费用（效益）函数。状态的转移就产生费用（效益）的改变，它们是同时发生的。设ri表示i阶段的费用（效益），则ri也是Si和di的函数，可写为
(https://www.daowen.com)
该式称为第i阶段的费用（效益）方程。
（3）目标函数。若从过程的第一阶段初始状态开始，经历全部阶段，可得到全过程的总费用R（目标函数），即总费用只是各阶段费用ri的总和，表示为
总费用R 的最优值（极大或极小）为
通过以上讨论，可将多阶段决策过程归纳为如图3.4所示。
图3.4 多阶段决策过程示意图
上图可以看出，多阶段决策过程具有如下的特性：
（1）多阶段决策过程是一个由后向前逐步寻优的逆序寻优决策过程。
（2）前一阶段的末状态，即为下一阶段的初状态。而其演变取决于相应的决策变量的变化，即决策过程。
（3）过去的状态与将来的决策无关。
（4）一个n 阶段的全过程决策序列是一个决策向量组（d1，d2，…，dn），而每一个阶段又有若干方案。每个决策向量必有一个最优者，称为分段最优决策，而多阶段决策是指全过程的最优。
