4.3.2.3 基于强化学习的智能灌溉决策模型
基于多源感知的实时灌溉预报模型，核心是利用天气预报信息来辅助制定灌溉决策。由于天气预报是对未来降水、温度和风速等气象条件的预测，存在不确定性，因此，仅仅依赖天气预报进行灌溉决策，存在相应的风险。针对降水的不确定性，完全依赖气象预报确定是否灌溉农作物的方案存在缺陷。以避免灌后遇雨水和不灌等雨造成受旱减产为目标，引入人工智能技术，通过机器强化学习获得经验并吸取教训，开发基于强化学习的智能灌溉决策模型。
（1）设计思路
强化学习是一种重要的机器学习方法，多应用于智能控制机器人及分析预测等领域。强化学习是智能体以“试错”的方式进行学习，通过与环境进行交互获得的奖赏来指导行为，目标是使智能体获得最大的奖赏。强化学习把学习看作试探评价过程，智能体选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号（奖或惩）反馈给智能体，智能体根据强化信号和当前环境状态再选择下一个动作，选择的原则是使受到正强化（奖）的概率增大，如图4-5所示。选择的动作不仅影响立即强化值，而且影响环境下一时刻的状态及最终的强化值。
图4-5 强化学习示意图
（2）实施方案
①模型开发所需资料收集
A.气象资料收集
从中国气象数据网（http：//data.cma.cn/）收集金华市1985—2019年逐日历史气象数据资料（最低气温、最高气温、平均气温、平均风速、日照时数、平均相对湿度），并从中国天气网（http：//www.weather.com.cn）通过PHP编程语言抓取自2012—2021年预见期为7天的天气预报数据（最高气温、最低气温、天气类型、风力等级）。
B.灌区土壤参数收集
收集土壤类型、田间持水量、枯萎系数、深层渗漏量等数据。
C.灌区历史作物灌溉资料收集
收集灌区代表性试验站历史实测作物需水量数据、历史作物灌溉制度、作物生长发育时期、灌区历史灌水量及灌水日期数据。
②作物需水量计算
计算作物逐日需水量，为灌区作物智能灌溉决策模型构建提供数据基础。作物逐日需水量由单作物系数法计算，如下式：
式中，Kc为单作物系数，Ks为水分胁迫系数，当发生土壤水分胁迫时，Ks＜1，无土壤水分胁迫时，Ks=1，ET0为参考作物腾发量，mm/d。
参考作物腾发量采用彭曼模型，如下式：
式中，ET0为采用PM公式计算的参考作物腾发量，mm/d；Rn为作物表面净辐射，MJ/（m2·d）；G为土壤热通量，MJ/（m2·d）；T为地面2m高处日平均气温，℃；u2为地面2m高处风速，m/s；es为饱和水汽压，k Pa；ea为实际水汽压，k Pa；Δ为饱和水汽压与气温关系曲线的斜率，k Pa/℃；γ为湿度表常数，k Pa/℃。
③作物水分生产函数计算
在灌溉决策制定过程中，需要评价水分胁迫对作物产量的影响，采用作物产水函数建立特定生长期水分亏缺与产量的函数关系。根据以往的研究，南方地区的水稻通常采用Jenson模型来量化其效应。模型表示如下：
式中，Ya为实际产量，Ym为理论产量，ETa是实际腾发量；ETm为潜在腾发量；n为生长阶段数，i为生长阶段序数，i=1，2，…，n；λi为水应力敏感性指数增长阶段。
④强化学习模型构建及训练
A.强化学习模型构建
灌溉决策过程具有马尔可夫性质，即下一阶段的状态仅与当前阶段的状态和采取的动作有关。在考虑未来降雨进行灌溉决策时，管理人员执行某个操作（如灌水），并不能立刻获取最终的结果，甚至难以判断当前操作对最终结果的影响，仅能得到一个当前反馈（水层深度的变化、未来实际降雨情况等）。而强化学习是解决具有马尔可夫性质的决策问题的有效方法之一。强化学习是机器学习的一种方法，智能体通过一系列的观察、动作和奖励与环境进行交互，其目标是找到一个最优策略，即以一种最大化累积未来回报的方式选择行为。因此，采用强化学习方法，通过在环境中不断尝试不同的策略来获取反馈，从灌后遇雨、不灌等雨而无雨等错误的灌溉经验中获取教训，从而得出最优决策，提高降雨利用率。
强化学习的环境可以表示如下：
式中，St为状态空间，A为动作空间，mt是转移函数，R是奖励函数，其中动作空间概率分布服从高斯分布。
状态空间构建。待灌溉区域决策周期内状态空间St状态向量表达式如下：
式中，Pt为当前灌溉决策周期t内未来一段时间内的预报降雨量序列；ht为当前灌溉决策周期t内水层深度，mm；hmin为灌水下限，mm；hmax为灌水上限，mm；Hp为雨后蓄水上限，mm。
转移函数设置。转移函数mt为在决策周期内执行灌溉决策后，环境从当前状态转移到另一个状态，包括作物蒸散量的更新，未来预报气象数据的更新，土壤含水量或水层深度的变化。水层深度转移概率可表达如下：
奖赏函数设置。奖赏函数R为在决策周期内执行灌溉决策后环境从当前状态转移到另一个状态时反馈的奖励。奖赏函数表达式为：
式中，r0为基础奖励，r1为产量奖励，r2为降雨利用奖励。计算如下：
环境参数修正。智能体需要根据实际气象条件和灌溉决策修正环境状态参数。水层深度的修正公式如下：(https://www.daowen.com)
式中，
为灌溉决策周期t内的实际降雨量，mm；
为灌溉决策周期t内的实际作物需水量，mm；Pt为田间深层渗漏量，mm。
策略评估函数构建。对环境进行建模后需要对采取的策略进行评估。为了评价强化学习得到的策略，从初始状态s出发，执行动作a后再使用策略π所带来的累积奖赏期望：
式中，γ为奖赏折扣，r为后续执行的步数。
最优状态-动作值函数为所有策略中值最大的状态-动作值函数，即：
最优的策略π可通过直接最大化Q来确定，计算如下：
当模型所有参数已知时，可用动态规划进行求解。但本项目的灌溉决策模型的转移概率不完全已知，因为未来实际降雨的过程是不确定的，而且一般的Q函数是表格形式的，而由于水层深度和降雨量是连续的，所以状态空间是连续空间。为了解决以上问题，本项目引入一种基于深度卷积网络的深度强化学习（Deep Q-learning Network，DQN）算法来求解强化学习模型。
根据基本的Q-learning算法，Q函数可根据以下公式进行更新：
DQN算法使用神经网络来近似Q函数，然后训练该神经网络，使标签和网络输出的偏差，即损失函数最小化，计算如下：
B.强化学习模型训练
DQN算法总体架构如图4-6所示。当强化学习模型环境构建完成后，初始化参数、神经网络模型和生成一个初始随机策略，环境将根据已有的初始策略产生样本，这些样本储存在一个数据库里，然后数据库容量足够大之后就随机取样形成一批数据作为神经网络的输入进行训练，得出一个新的Q函数和决策，最后环境根据这个新的Q函数和决策产生新的样本，不断循环，直到训练次数达到要求。
图4-6 DQN算法的总体架构
⑤智能灌溉决策评价
由于本项目基于天气预报构建智能灌溉决策模型，因此，需要对天气预报要素的预报精度和节水效果进行分析评价。
A.降雨预报评价
采用误差特征值分析法（即统计学法）计算不同等级降雨量预报的正确率（Percentage Correct，PC）、漏报率（Missing Alarm Rate，MAR）、空报率（False Alarm Rate，FAR）、TS（Threat Score）评分及ROC曲线等特征指标值。
国际上许多研究将降雨看作两分法变量来进行准确性评估，通过预报数据与实测数据的对比获得回归模型，来构成一个以有无降水划分的2×2的列联表。具体标准如表4-10所示，以一天内是否降水1mm以上为有降水和无降水的区分条件，如事件A表示正确预报出降水的数目。
表4-10 预测降雨与否列联表
采用正确率、漏报率、空报率、TS评分以及ROC曲线对降雨预报准确度进行评价，其计算公式如下：
相对特征运行曲线（Receiver Operating Characteristic curve，ROC）是根据表现特征评定二进制分类的有效方法，由于其具有强大的辨别能力，能在混乱矩阵中保留有用信息的分类，目前被广泛应用于天气预报的检验。本项目利用ROC特征曲线分析预见期7天内的降水预报时效性，采用命中率（True Positive rate，TPrate）和虚警率（False Positive rate，FPrate）进行ROC曲线绘制，其中，命中率和虚警率的公式如下：
随着预见期变化，预报的命中率和虚警率也会有相应改变。以虚警率为横坐标，以命中率为纵坐标，合绘出的曲线即为ROC曲线。ROC下的面积为AUC（Area Value Curve）值，当ROC在对角线以上时，表示AUC值大于0.5，即命中率大于虚警率，认为有正预报价值。
在实际情况中，如果在实测有降雨同时预报准确，还存在预报雨量级比实际大或者比实际小的情形，为进一步深入分析降雨预报的精确度，考虑将正确率分为准确预报率（Accuracy Forecast rate，AF）、大一级预报率（Large level Forecast rate，LF）和小一级预报率（Small level Forecast rate，SF）。将正确预报降水事件A分成a1、a2、a3等3个子事件。划分标准如下：
准确预报a1：即实际的降水量落在预报降水的雨量级范围内，准确预报率计算如下：
大一级预报a2：实际降水量比预报降水的雨量级大，大一级预报率计算如下：
小一级预报a3：实际降水量比预报降水的雨量级小，小一级预报率计算如下：
B.节水效果评价
统计不同灌溉模式和灌溉决策策略下的水稻灌溉用水量，通过比较排水量、降雨利用率、灌溉次数、灌水量对智能灌溉决策的节水效果进行评估。