往期精彩内容：
电能质量扰动信号数据介绍与分类-Python实现-CSDN博客
Python电能质量扰动信号分类(一)基于LSTM模型的一维信号分类-CSDN博客
Python电能质量扰动信号分类(二)基于CNN模型的一维信号分类-CSDN博客
Python电能质量扰动信号分类(三)基于Transformer的一维信号分类模型-CSDN博客
Python电能质量扰动信号分类(四)基于CNN-BiLSTM的一维信号分类模型-CSDN博客
Python电能质量扰动信号分类(五)基于CNN-Transformer的一维信号分类模型-CSDN博客
基于FFT + CNN -Transformer时域、频域特征融合的电能质量扰动识别模型-CSDN博客
Python电能质量扰动信号分类(六)基于扰动信号特征提取的超强机器学习识别模型
交叉注意力融合时域、频域特征的FFT + CNN -BiLSTM-CrossAttention电能质量扰动识别模型_交叉注意力机制融合特征-CSDN博客
创新点：利用交叉注意力机制融合时频特征！
前言
本文基于Python仿真的电能质量扰动信号，进行快速傅里叶变换（FFT）的介绍与数据预处理，最后通过Python实现基于FFT的CNN-Transformer-CrossAttention模型对电能质量扰动信号的分类。Python仿真电能质量扰动信号的详细介绍可以参考下文（文末附10分类数据集）：
电能质量扰动信号数据介绍与分类-Python实现_python给电压数据做分类-CSDN博客
部分扰动信号类型波形图如下所示：
模型整体结构
模型整体结构如下所示，一维扰动信号经过FFT变换的频域特征以及信号本身的时域特征分别经过CNN卷积池化操作，提取全局特征，然后再经过BiLSTM提取时序特征，使用交叉注意力机制融合时域和频域的特征，通过计算注意力权重，使得模型更关注重要的特征再进行特征增强融合，最后经过全连接层和softmax输出分类结果。
时域和频域特征提取：
-
对时域信号应用FFT，将信号转换到频域。
-
利用CNN对频域特征进行学习和提取。CNN的卷积层可以捕捉频域特征的局部模式。
Transformer 编码器层：
-
将时域信号输入Transformer编码器层。Transformer编码器层可以有效地捕捉时域信号的长期依赖关系。
交叉注意力机制：
-
使用交叉注意力机制融合时域和频域的特征。这可以通过计算注意力权重，使得模型更关注重要的特征
1 快速傅里叶变换FFT原理介绍
傅里叶变换是一种信号处理和频谱分析的工具，用于将一个信号从时间域转换到频率域。而快速傅里叶变换（FFT）是一种高效实现傅里叶变换的算法，特别适用于离散信号的处理。
第一步，导入部分数据，扰动信号可视化
第二步，扰动信号经过FFT可视化
2 电能质量扰动数据的预处理
2.1 导入数据
在参考IEEE Std1159-2019电能质量检测标准与相关文献的基础上构建了扰动信号的模型，生成包括正常信号在内的10中单一信号和多种复合扰动信号。参考之前的文章，进行扰动信号10分类的预处理：
第一步，按照公式模型生成单一信号
单一扰动信号可视化：
2.2 制作数据集
制作数据集与分类标签
3 交叉注意力机制
3.1 Cross attention概念
-
Transformer架构中混合两种不同嵌入序列的注意机制
-
两个序列必须具有相同的维度
-
两个序列可以是不同的模式形态（如：文本、声音、图像）
-
一个序列作为输入的Q，定义了输出的序列长度，另一个序列提供输入的K&V
3.2 Cross-attention算法
-
拥有两个序列S1、S2
-
计算S1的K、V
-
计算S2的Q
-
根据K和Q计算注意力矩阵
-
将V应用于注意力矩阵
-
输出的序列长度与S2一致
在融合过程中，我们将经过FFT变换的频域特征作为查询序列，时序特征作为键值对序列。通过计算查询序列与键值对序列之间的注意力权重，我们可以对不同特征之间的关联程度进行建模。
4 基于FFT+CNN-Transformer-CrossAttention扰动信号识别模型
4.1 网络定义模型
注意：输入故障信号数据形状为 [64, 1024]， batch_size=64, ，1024代表扰动信号序列长度。
4.2 设置参数，训练模型
50个epoch，准确率达100%，用FFT+CNN-Transformer-CrossAttention融合网络模型分类效果显著，模型能够充分提取轴承故障信号的空间和时序特征和频域特征，收敛速度快，性能优越，精度高，交叉注意力机制能够对不同特征之间的关联程度进行建模，从故障信号频域、时域特征中属于提取出对模型识别重要的特征，效果明显。
4.3 模型评估
准确率、精确率、召回率、F1 Score
故障十分类混淆矩阵：
代码、数据如下：
对数据集和代码感兴趣的，可以关注最后一行
# 加载数据
import torch
from joblib import dump, load
import torch.utils.data as Data
import numpy as np
import pandas as pd
import torch
import torch.nn as nn
# 参数与配置
torch.manual_seed(100) # 设置随机种子，以使实验结果具有可重复性
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
#代码和数据集：https://mbd.pub/o/bread/mbd-ZZyZkpxr
