6.4.3 实验与分析
1.实验平台及数据集说明（预处理）
本节全部数据来源于国家统计局网站（http：//data.stats.gov），选取了31个省（区、市）1978—2017年的年度数据构建多元时间序列数据集。其中选取普通小学招生数为预测指标，人口出生率、年末常住人口数、居民消费水平指数为相关序列，反映预测指标小学入学人数与人口、经济等指标的相关性。
对于多元时间序列数据集，可以通过设置滑动时间窗口大小进行重新划分；对于缺失数据，取相邻的两个数据的平均值填充，所有时间序列的值采用最大-最小归一化的方法进行预处理，经过预处理所有数据取值范围为［0，1］。
训练集和测试集的划分采用截断法，选取31个省市自治州1978—2011年的数据作为训练数据构造训练数据集，2012—2017年的数据作为验证数据集。
2.评价指标
为了对预测模型进行评价，采用平均绝对误差（mean absolute errors，MAE）、均方根误差（root mean square error，RMSE）、平均绝对百分比误差（mean average percentage error，MAPE）3个评价指标来评定预测模型的准确性。
其中，
代表t+1时刻小学入学人数的实际值，
代表t+1时刻小学入学人数的预测值。
3.入学规模预测模型训练和性能分析
根据前述入学规模预测模型的训练原理，本节的模型使用Python 3.6、Tensorflow 2.0、Keras实现。Tensorflow是谷歌公司开发的一个开源机器学习库，用于辅助构建和部署机器学习模型。Keras是一个神经网络API，具有界面友好、模块化、可扩充的特点，并支持Tensorflow。本模型以Tensorflow作为后端。
模型参数由两部分组成：一部分为普通参数，包括注意力的权重系数、LSTM各隐藏单元的权重系数及全连接层内的连接参数和权重，这部分参数通常用模型通过梯度算法求得最优解；另一部分为超参数，主要包括以下几种。
（1）训练迭代次数epoch：模型训练完整的数据集次数，通常根据经验所得。
（2）训练块大小batchsize：一次输入模型训练的样本个数。
（3）训练学习率learningrate：通过调整学习率可调整各权重的超参数，学习率越低，收敛速度越慢，但精度较高，学习率越高，收敛速度越快，但易陷入局部最优解。
（4）隐藏层数和神经元个数cells：这两个参数直接确定整个神经网络的基本结构，层数越多，神经元越多，参数就越多，模型训练所花时间就越长。
（5）时间窗口宽度windows：通过设置时间窗口宽度限定时间序列的长度。
为了能够取得较好的超参数，我们采用网格搜索方法对训练块大小batchsize、学习率learningrate、时间窗口宽度、隐藏层数和神经元数进行优选。首先，固定训练迭代次数epoch=300、随机种子数seed=1、训练块大小batchsize=32等非关键参数值；然后，设定3个参数的取值范围：历史数据时间窗宽度windows=｛4，6，8，10，12｝，LSTM细胞数cells=｛64，128，192，256｝，学习速率learningrate=｛0.001，0.003，0.005，0.01，0.03，0.05｝；以均方根误差（RMSE）值最小为测试集上预测精度最高，以此进行相关参数优选。实验记录入学规模预测模型在不同参数组合下的仿真结果，由于篇幅所限，以下列出学习速率learingrate为0.001、0.01、0.05的仿真结果，如图6-7～图6-9所示。
图6-7～图6-9中，颜色较浅代表RMSE越大，图6-7中的颜色普遍较浅，说明当学习率为0.01时，RMSE较大。根据图6-8和图6-9可知，当神经元个数cells较大及时间窗口windows长度偏小时，RMSE值较好，模型精度较高。参数寻优结果中5组最优的参数组合及对应的RMSE如表6-1所示。
(https://www.daowen.com)
图6-7 参数寻优（learningrate=0.01）
图6-8 参数寻优（learningrate=0.001）
图6-9 参数寻优（learningrate=0.05）
表6-1 最优参数组合及RMSE对应表
通过参数优选，最后选取的相关参数为：windows=8，cell=256，batchsize=32，learningrate=0.001。
4.对比方法
为了进一步验证ATTENTION-LSTM模型在提升入学规模预测的有效性，将本节中的模型与传统基于统计的时序预测算法历史平均模型（HA）及整合移动平均自回归模型（ARIMA）及不带ATTENTION机制的长短期记忆模型进行比较。其中，传统的LSTM模型包括两层LSTM层和一个全连接层。HA模型使用3个历史时间段的入学规模平均值作预测。ARIMA模型通过序列的一阶差分进行预处理，根据AIC准则定阶P、Q的值分别为3和1。
图6-10给出了四种模型分别对某省市2012—2017年入学规模的预测结果。
图6-10 入学规模预测模型比较
从图6-10可知，对于入学规模变化的规律，四种模型都能够对未来年份的入学规模进行一定的有效预测，但ARIMA模型和HA模型与真实曲线存在较大偏差；LSTM模型曲线除某阶段效果较差以外，其余阶段预测效果较HA模型有大幅提升。ATTENTION-LSTM模型与真实曲线形态最为接近。
四种模型分别在测试集上进行10次实验后的平均结果如表6-2所示。
表6-2 模型测试集结果对比表
实验结果表明，ARIMA和HA这两种传统的统计时序预测模型由于没有考虑复杂的非线性序列变化规律，主要还是应用于时序平稳的场景，因此，实验精度相对最差。LSTM模型作为非线性时序预测模型可以通过细胞的状态来解决时间序列数据的长期依赖问题，保留预测变量的长短期变化规律，各项指标对比有所提升，但由于其只利用单个时间序列数据训练，无法挖掘其他因素如人口、经济等对区域内入学规模人数的影响。而ATTENTION-LSTM模型与其他模型相比更贴近实际结果，在所有测试集中MAE、MAPE、RMSE 3个指标的值均优于其他模型。
5.结束语
小学入学规模预测对我国区域内义务教育工作具有重要意义，传统基于统计的时序预测方法由于无法描述学龄人口会随经济条件造成的人口迁移、生育政策影响等产生不规则的波动关系，无法取得较好的效果。本节利用机器学习，根据学龄人口时间序列的时序特征，结合人口因素、经济因素等相关时间序列，建立了一种基于ATTENTION-LSTM网络的区域小学入学规模预测模型，并利用注意力机制为不同的输入特征赋予权重，以突出对小学入学规模预测起到关键作用的特征。通过实验表明，本节提出的模型能够充分挖掘小学入学规模中人口、经济等因素的有规律的信息，具有较好的鲁棒性，比传统的时序预测方法具有更好的准确率，提高了中长期预测的精度，有助于教育管理部门更好的提前进行布局和规划。