陈代明 王亚东 咸永财 张鸣伦 刘明 沈凯令
摘 要:
短临降水预测由于气象数据体量大、种类繁多,以及大气系统的复杂性,预测难度大。拟构建一个基于时空预测网络的雷达回波外推模型来提高预测性能。该网络旨在将时间特征和空间特征进行解耦,独立提取特征。空间模塊通过注意力机制建模时间不变信息,时间模块通过级联的门控机制建模时间依赖。最后,在雷达回波数据集上验证了模型的性能。
关键词:
短临预报;
神经网络;
时空解耦;
雷达回波
中图分类号:TP399 文献标识码:A 文章编号:1006-8228(2023)05-01-05
Radar echo extrapolation research based on spatiotemporal prediction network
Chen Daiming1, Wang Yadong1, Xian Yongcai1, Zhang Minglun1, Liu Ming1, Shen Kailing2
(1. National Energy Shanxi Hydro electric Limited Liability Company, Hanzhong, Shanxi 723000, China;
2. Nanjing University of Information Science and Technology)
Abstract:
Short-term precipitation prediction is difficult due to the large volume and variety of meteorological data, as well as the complexity of atmospheric systems. We propose to construct a radar echo extrapolation model based on a spatiotemporal prediction network to improve the prediction performance. The network aims to decouple temporal and spatial features and extract features independently. The spatial module models time-invariant information through an attention mechanism, and the temporal module models temporal dependence through a cascaded gating mechanism. The performance of the model is validated on a radar echo dataset.
Key words:
short-term forecasting; neural networks; spatiotemporal decoupling; radar echoes
0 引言
短时强降雨一直是重大自然灾害中需关注和研究的重点问题。我国长江中下游流域今年极端暴雨天气频发,由此造成的灾害和影响极其严重。由于强降雨短临预报能够根据当前时刻的天气情况提供未来多个小时内降雨强度估计值,所以预报的结果可以用于辅助相关部门和相关行业组织及时做出正确决策。
短时强降雨具有高度非线性、随机性和复杂性,使得强降雨短临预报成为具有挑战性的世界难题。
新一代多普勒天气雷达作为探测云团降水的主要工具,输出的产品已成为天气监测、预警强对流天气的重要信息来源。其中,雷达回波图像具有严格的时序特征(时间分辨率为6分钟),其反射率因子能够更直观、高效的反映降水实况,结合其他气象要素指标或天气形势,可以获得更好的效果,对提高灾害性天气监测能力和改进天气预报质量有重要的现实意义[1]。目前,降水预测主要就是基于多普勒雷达的历史数据和实时雷达观测结果,推测雷达回波未来的位置和强度,利用Z-R关系[2-4]求出未来时刻的降雨强度,然后,预报员结合自身经验,在预测结果的基础上给出最终短临预报。然而,由于气象数据体量大、种类繁多、不易处理,以及大气系统的复杂性,在实际业务中,只有经验丰富的预报员才能较为准确的给出定性的预报,主观性较强。有鉴于此,本项目将针对这一目标,专注于基于天气雷达数据的外推研究,基于石家庄市气象局提供的数据,拟构建一个基于时空预测网络的雷达回波外推模型。
本文在传统卷积神经网络的基础上,提出了一个改进的基于时空预测网络的回波外推模型,模型通过双分支特征并行提取的编码结构从历史的雷达回波图像中分别学习回波的空间和时间变化规律,从而实现对雷达回波的外推。在对比实验中与之前的深度学习雷达回波外推方法进行对比,实验表明本文提出的算法的表现优于现有的深度学习外推方法。
1 研究现状
1.1 研究现状
传统短临预报主要包括统计预报、数值模式预报和雷达外推方法。统计预报法缺乏物理基础、预报精度不高;
当前主流的数值模式欧洲ECMWF模式[5]、美国GFS模式[6]与中国天气预报GRAPES模式[7]等虽然能进行中长期、大尺度的降雨范围、趋势等预报,但因其时间(1-3h)、空间(3-13km)分辨率相对于中小尺度强对流天气系统偏低,不能准确地捕捉较短时内、中小尺度强对流发生、发展等全生命史。近年来,尽管基于雷达回波的外推方法取得了一定的效果,但仍存在一些问题[8]。目前相对成熟的雷达外推方法主要是交叉相关法和光流法。交叉相关法从近2帧图像中推演[9],属于刚体线性外推,无法解决形变问题,不具备从历史数据中学习的能力,无法解决对流天气的生消问题。光流法比交叉相关法精确一些[10],但其成功使用有较大限制,因为在雷达外推过程中光流估计步骤和雷达回波的外推步骤是分开的,因而会产生累积误差,使得光流法参数设置十分困难。
深度学习是在这样的背景下异军突起,正演变成一场盛大的创新革命,成为了人工智能最炙手可热的领域。施恩[11]等人提出了一种基于动态卷积神经网络方法来实现雷达回波的外推,其性能要胜于传统方法COTREC[12]和DITERC[13]。施行健[14]等人提出一種卷积长短期记忆网络(Convolutional Long Short-Term Memory, ConvLSTM)模型,该模型可以同时学习到雷达图像空间和时间上的特征,解决回波外推问题的同时也获得了比实时光流法更加准确的结果。张玲玲[15]在其基础上将卷积自编码器与ConvLSTM进行对接,增强了外推图像的质量。随后施行健[16]在ConvLSTM的基础上又进行改进,提出了轨迹门循环单元(Trajectory Gate Recurrent Unit, TrajGRU)模型。该模型相对于未改进前增加了一定的抗畸变性,但在实际业务中效果与ConvLSTM相差不大。与此同时,作者还制定了一个新的评估基准HKO-7,实现了对降水更加合理的预测。事实上,降水预测可以看作是一种回归问题。吴昆[17]等人采用三维卷积神经网络(3D Convolutional Neural Networks, 3DCNN)和LSTM结合的方式预测了特定区域的降水量,并在气象站平台上实现稳定运行。Han[18]等人进一步将3DCNN应用于三维多普勒雷达数据中进行对流风暴预测,并将预测问题转化为分类问题。关鹏洲[19]将Inception网络与Xgboost集成学习相结合,得到了较好的回归效果。
1.2 存在的问题
已有的时空预测网络,大多针对的是视频这种时间分辨率较高的时空序列,而雷达数据间隔时间较长,加上气象系统本身的复杂性,雷达回波序列预测更加困难,尤其是对流的产生和消失不能做到很好的预测。另外,时空预测普遍存在的后期预测模糊问题,尤其是对于雷达外推,当前的解决方案并不能很好的解决。因此,需要针对雷达回波序列的特点,设计适合的算法。
普通卷积运算对局部特征变化的图像并不适用。普通卷积核默认是以从左到右、自上而下的方式进行计算加权,卷积核邻域与被卷积目标位置对应关系是不变的,所以普通卷积对拥有局部不变特征的图像较为合适。但面对具有如旋转、放缩和生消等特性的回波图像时,这样的卷积操作是有明显局限的。
2 工作内容
2.1 数据集制作
本研究使用宝鸡新一代多普勒天气雷达数据,收集了2019-2021年24次降水事件的雷达数据来制作数据集。原始雷达数据首先被质量控制,然后被插值到笛卡尔坐标,空间分辨率为水平1千米。在这项研究中,我们使用组合反射率的数据,数据集的时间分辨率为6分钟。
将预处理过的雷达回波序列按天分类,每一天240帧图像划分为6个块,每个块是40帧。随机选取4个块作为训练集,1个作为验证集,1个作为测试集。训练集和验证集都是选取一个长度为30的滑动窗口,进行采样,其中10帧作为输入,20帧作为标签。每个样本张图像存放在一个文件夹内代表一个样本;
测试集的滑动窗口长度同样为30,其中10帧作为输入,20帧作为标签验证。将所有样本按照80%、10%、10%来划分,分别得到训练集、验证集和测试集。
2.2 雷达回波外推模型
在本节中,我们定义了雷达回波外推任务以及我们设计的体系结构中每个组件的作用。令[xt∈rw×h×c]表示雷达回波序列[x]中的第[t]帧,其中w,h和c分别表示宽度,高度和通道数。雷达回波外推的目的是在给定输入帧[x1:t]的情况下生成未来帧[xt+1]。在第t个时间步,我们的网络观察到直到第t帧的先前连续帧的历史记录,并生成下一帧的预测值。我们的模型是一个解耦时间和空间的双分支网络。考虑到雷达回波在时空中产生一系列变化,而以往的帧预测网络只在统一的时空中进行建模,这会导致信息的紊乱和丢失,不能让模型全面的学习到时空的变化,也会导致错误的预测。因此,我们采用了将时间和空间分开解耦的方式,独立的学习一系列信息,并通过适当方式进行合并,来产生更准确的预测。
2.2.1 空间模块
空间模块处理时间不变的静态信息。空间模块接收输入模块的输入并进入多头注意力机制(图1)。
具体来说,将输入通过两个不同的线性变换或者非线性变换,即Key模块和Value模块。此外,将初始状态为零的张量通过Query模块来作为注意力机制中的Query部分,值得注意的是,Query在整个时间序列的过程中是随时间传播,不断更新修改。注意力机制即将过去的信息与当前的输入信息进行非均等权重的分配,让过去与现在的相关性更大的信息能够得到更多的关注。此后,在通道方向上进行分裂,划分成若干的组别。
[AttentionQ,K,V=softmaxQKIdV] ⑴
考虑到时空中会包含若干独立的时空行为,我们设立若干个独立模块,其参数是可以学习的,我们通过模型的更新过程,不断调整独立模块的参数,使其逼近各种时空行为。具体来说,我们通过注意力机制进行选择,使输入选择与自己的时空行为更相近的独立模块,并在此基础上通过ConvGRU进行更新。
[zt=σWzxt+Uzht-1rt=σWtxt+Utht-1ht=tanhWxt+Urt°ht-1ht=1-zt°ht-1+zi°ht] ⑵
最后,我们将所有的更新数据在通道方向上进行结合并通过线性变换或非线性变换进行更新(图2)。
2.2.2 时间模块
时间模块我们采用PredRNN++网络中的循环单元CausalLSTM来捕获时间信息。的变换来拟合现实情况下的变换趋势。
[gtitft=tanhσσW1Xt,Hkt-1,Ckt-1]
[Ckt=ft⊙Ckt-1+it⊙gt]
[g"ti"tf"t=tanhσσW2Xt,Ckt,Mk-1t] ⑶
[Mkt=f"t⊙tanhW3Mk-1t+i"t⊙g"t]
[ot=tanhW4Xt,Ckt,Mkt]
[Hkt=ot⊙tanhW5Ckt,Mkt]
最后,将提取的时间信息送入解码模块,与空间模块提取的信息合并后进行解码。
3 实验结果与分析
3.1 实验环境
实验设计代码基于版本3.8的Python语言开发。深度学习网络模型主要通过Pytorch开源神经网络库实现,鉴于模型结构与训练数据较大,应对如此庞大的计算量仅仅使用CPU训练耗时太久难以完成,因此我们结合GPU加速深度学习实验的经验,采用NVIDIA GeForceGTX3060进行GPU并行计算加速。
3.2 评估方法
在气象业务中,对不同的降水强度往往给予的关注程度不同,因此应该根据模型在不同降水程度下的综合表现作为评价算法好坏的重要依据。选取不同降水强度,并找到对应的反射率进而定位到对应的灰度阈值上,即可完成降水强度在回波图像上的表征。本文中采用的预测指标包括:
临界成功指数(CSI) 、误报率(FAR) 以及探测概率(POD)。本文以nS、nM和nF分别表示预测图像中成功、漏报和空报的格点数,CSI、FAR、POD计算公式如下:
[CSI = nS /( nS + nM + nF )]
[FAR = nf/(nS + nF)] ⑷
[POD = nS /( nS + nM)]
POD和CSI指标越高代表预测的越精准;
而FAR值越低自然代表模型越精准。为了能更直观的反映外推出的图像相似程度,将MSE也放入评价标准中。MSE通过累计所有像素差异得来,是最直接的误差来源,值越小代表预测效果越好。
3.3 实验结果
外推模型评估方面,选取了反射率为30和50(单位dBZ)两个等级作为对应灰度阈值来进行二值化。这些等级分别代表了降水大雨级别和暴雨级别。实验将本文的算法与ConvLSTM、TrajGRU、PredRNN以及PredRNN++四种主流算法进行对比,突出所提算法的准确率。在两个阈值条件下,进行了外推时长为1小时的实验,实验结果如表1和表2所示。
在不同反射率强度对应的各模型统计结果中,可以看出,本文模型的POD和CSI两个指标较另外四种方法均为最高,FAR和MSE数值均为最低,提出的模型在所有评价标准中均是最优的。30dbz情况下,相比于ConvLSTM、TrajGRU、PredRNN、PredRNN++,POD增长0.061、0.045、0.020、0.011;
CSI增长0.030、0.021、0.012、0.008;
FAR下降0.056、0.038、0.021、0.008。
实验证明,将时空提取过程分为两个独立的分支,即时间分支和空间分支,可以更全面和精细化的提取并预测未来的变换趋势。
3.4 可视化展示
4 结束语
本文提出了一种用于雷达外推的双分支时间空间独立提取器网络。我们网络的时间分支能够有效建模时间依赖,对时间上的非平稳变换也能准确捕获。空间分支建模时不变信息,对图像的细节也能较好的拟合。最后,网络融合空间分支和时间分支的各自的优势,进而产生准确的预测。我们在雷达回波数据集上的实验证明了模型的有效性。未来可以将其应用于其他时空序列预测问题上,如交通流预测等。
参考文献(References):
[1] 王婷,刘云鹏,董晨,等.短临降水预报方法及其应用研究综述[J].电子世界,2019(10):11-13
[2] 朱亚宗,董德保,何越,等.CINRAD/SA雷达天馈系统关键参
数测量方法研究[J].物联网技术,2019(9):25-27
[3] Zeng Zhilin, Wang Donghai, Chen Yun. An investigation of
convective features and Z-R relationships for a local extreme precipitation event[J]. Atmospheric Research,2021,250
[4] Sébastien Verrier,LaurentBarthes,Cécile Mallet.
Theoretical and empirical scale dependency of Z-R relationships:
Evidence, impacts, and correction[J]. Journal of Geophysical Research. Atmospheres,2013,118(14)
[5] 陶祖鈺,赵翠光,陈敏.谈谈统计预报的必要性[J].气象科技
进展,2016,6(1):6-13
[6] Huosheng Xie,Lidong Wu,Wei Xie,Qing Lin,Ming Liu,
Yongjing Lin. Improving ECMWF short-term intensive rainfall forecasts using generative adversarial nets and deep belief networks[J].Atmospheric Research,2021,249
[7] Malay Ganai,SnehlataTirkey,R.P.M. Krishna,Parthasarathi
Mukhopadhyay. The impact of modified rate of precipitation conversion parameter in the convective parameterization scheme of operational weather forecast model (GFS T1534) over Indian summer monsoon region[J]. Atmospheric Research,2021,248(prepublish)
[8] 薛纪善.新一代数值预报系统(GRAPES)的初步结果[A].
中国气象学会.海峡两岸气象科学技术研讨会论文汇编[C].中国气象学会:中国气象学会,2004:1
[9] 吴剑坤,陈明轩,秦睿,等.多种雷达回波区域跟踪技术对比研
究[A]. 中国气象学会.第35届中国气象学会年会S1灾害天气监测、分析与预报[C].中国气象学会:中国气象学会,2018:6
[10] 陈雷,戴建华,陶岚.一种改进后的交叉相关法(COTREC)在
降水临近预报中的应用[J].热带气象学报,2009,25(1):117-122
[11] Shi E, Li Q, Gu D, et al, A Method of Weather Radar
Echo Extrapolation Based on Convolutional Neural Networks[C], International Conference on Multimedia Modeling, Bangkok, Thailand, Springer,2018:16-28
[12] Fletcher T D, Andrieu H, Hamel P. Understanding,
management and modelling of urban hydrology and its consequences for receiving waters:
A state of the art[J].Advances in water resources,2013,51:261-279
[13] Zhang Y, Chen M, Xia W, et al, Estimation of weather
radar echo motion field and its application to precipitation nowcasting[J]. Acta Meteorol, Sin,2006,64(5):631-646
[14] Shi X J, Chen Z, Wang H, et al, Convolutional LSTM
network:
A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems, Quebec, Canada, MIT Press,2015:802-810
[15] 张玲玲.基于雷达回波图像的短期降雨预测[D]. 硕士,河北
师范大学,2018
[16] Shi X J, Gao Z, Lausen L, et al, Deep learning for
precipitation nowcasting:
A benchmark and a new model[C]. Advances in Neural Information Processing Systems, Long Beach, USA, MIT Press,2017:5617-5627
[17] Wu K, Shen Y, Wang S, 3D Convolutional Neural
Network for Regional Precipitation Nowcasting[J], Journal of Image and Signal Processing,2018,7(4):200-212
[18] Han L, Sun J, Zhang W, Convolutional neural network
for convective storm nowcasting using 3-D Doppler Weather Radar Data[J]. IEEE Transactions on Geoscience and Remote Sensing,2019,58(2):1-9
[19] 關鹏洲,王梦毫,李倩.基于集成学习和深度学习的短期降
猜你喜欢神经网络基于递归模糊神经网络的风电平滑控制策略现代电力(2022年2期)2022-05-23BP神经网络在路标识别上的应用研究装备制造技术(2020年11期)2021-01-26神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23基于Alexnet神经网络的物体识别研究电子制作(2019年12期)2019-07-16基于BP神经网络的旋转血泵生理控制中国生物医学工程学报(2019年5期)2019-07-16基于神经网络MRAS的速度辨识仿真研究通信电源技术(2018年3期)2018-06-26基于神经网络的拉矫机控制模型建立重型机械(2016年1期)2016-03-01复数神经网络在基于WiFi的室内LBS应用大连工业大学学报(2015年4期)2015-12-11基于支持向量机回归和RBF神经网络的PID整定海军航空大学学报(2015年4期)2015-02-27基于神经网络分数阶控制的逆变电源电测与仪表(2014年20期)2014-04-04