多维时序 | Matlab实现LSTM-Mutilhead-Attention长短期记忆神经网络融合多头注意力机制多变量时间序列预测模型
目录
预测效果
基本介绍
程序设计
- 完整程序和数据获取方式资源处下载Matlab实现LSTM-Mutilhead-Attention长短期记忆神经网络融合多头注意力机制多变量时间序列预测模型。
clc;clear;close all;format compact
tic
clc
clear all
options = trainingOptions('adam', ... % 优化算法Adam
'MaxEpochs', 70, ... % 最大训练次数
'GradientThreshold', 1, ... % 梯度阈值
'InitialLearnRate', 0.01, ... % 初始学习率
'LearnRateSchedule', 'piecewise', ... % 学习率调整
'LearnRateDropPeriod', 60, ... % 训练850次后开始调整学习率
'LearnRateDropFactor',0.2, ... % 学习率调整因子
'L2Regularization', 0.01, ... % 正则化参数
'ExecutionEnvironment', 'cpu',... % 训练环境
'Verbose', 0, ... % 关闭优化过程
'Plots', 'training-progress'); % 画出曲线