无需 Transformer户外 品牌，简便滤波器即可提高时刻序列揣度精度。

由国度信息中心、牛津大学、北京理工大学、同济大学、中国科学时期大学等机构的团队建议了一个FilterNet。

当今已被 NeurlPS 2024 给与。

准确揣度时刻序列，关于动力、风景、医疗等界限中来说齐极度报复。

当今很受迎接的一类揣度模式是基于 Transformer 麇集进行建构的。

然而，Transformer 并不是全能的，尤其是关于时刻序列揣度这么的问题来说，它的结构显得有点过于复杂。

以 iTransformer 模子为例，它存在许多问题，比如对高频信号的反映较弱从而导致全频段信息诈欺受限、规画遵守低劣等，这些问题会大大影响模子的揣度精度。

那么，FilterNet 有哪些立异之处？

商议动机：现存模子架构存在频段信息诈欺瓶颈

时刻序列信号时常由不同频段信号构成，为了推敲现存模子能否对频域信号进行准确捕捉，团队推测打算一个简便的模拟考据践诺。

当先，他们诈欺低频、中频和高频重量合成的信号看成践诺数据（见图 1 ( a ) ）来测试时序模子的揣度性能。从图 1 ( b ) 不错看出，面前时序揣度的先进模子 iTransformer 认知欠安。

这标明，即使是由三种不同频率因素构成的简便信号，面前先进的基于 Transformer 的模子仍无法充分学到相对应的频谱信息。

比较之下，在传统的信号处罚（signal processing）界限，简便的频率滤波用具备许多优秀特点，举例频率遴荐性、信号调制和多速度处罚。这些特点有望权贵晋升模子在时刻序列揣度中索取关键信息频率模式的智商。

因此，受信号处罚中滤波经过的启发，商议团队建议了一种极度简便况且高效的学习框架— -FilterNet，用于时刻序列揣度任务。

商议措施：滤波器麇集（FilterNet）

FilterNet 的推测打算极其简便，合座框架如下图所示：

FilterNet 的中枢模块是频率滤波模块（Frequency Filter Block），包含团队推测打算的 2 种可学习滤波器：

1.Plain Shaping Filter：使用最精辟的、可学习的频率滤波器，终了信号滤波与时刻干系的建模。

2.Contextual Shaping Filter：针对诈欺滤波后的频率与原始输入信号的兼容性，进行依赖干系的学习。

具体来说，FilterNet 的各个组件有：

1. 实例归一化（Instance Normalization）

时刻序列数据频繁是在较万古刻跨度内收罗的，这些非逍遥序列不能幸免地使揣度模子濒临随时刻变化的散播偏移。像许多时序揣度模子相同，团队采选了可逆 Instance Normalization，如下所示：

2. 频率滤波模块（Frequency Filter Block）

时刻序列揣度器不错视为针对关键信号的捕捉，从某种进程上，也不错看作在频域上进行了一次滤波经过。

基于此，商议东说念主员平直推测打算了一个滤波器模块来建模相应的干系，具体为：

文中包含两类滤波器，分离为 plain shaping filter ( PaiFilter ) 和 contextual shapingfilter ( TexFilter ) 。PaiFilter 平直通过开动化一个权重参数� � � � 来模拟对应的滤波器，具体为：

相对应的，TexFilter 则通过一个可学习的神经麇集来生成相应的滤波器，完成对应的滤波学习，具体为：

3. 前馈神经麇集（Feed-forward Network）

频率滤波模块建模了时刻序列数据中的一些主要时刻依赖干系，随后他们诈欺前馈神经麇集（Feed-Forward Network）缔造这些时刻依赖干系和改日 τ 个时刻数据的干系，临了进行揣度，并对揣度值进行反归一化操作。

FilterNet 在多样场景下齐认知优胜

1. 揣度狂放

践诺在八个时刻序列揣度基准数据集上进行了时时的测试，狂放标明，与最新的预规画法比较，FilterNet 模子在不同揣度场景中均认知出不凡的性能。

其中，PaiFilter 在一丝据集上（变量数较小，如 ETT、Exchange 数据集）认知更好，而 TexFilter 则在大数据集上（变量数较多，干系更为复杂，如 Traffic、Weather 数据集）认知出强有劲的竞争力。

2. 频率滤波器的可视化

图 7 是学习到的滤波器的频率反映特点的可视化图表，标明 FilterNet 具备全频段的信号处罚智商。

此外，如图 8 所示，在 ETTm1 数据集上针对不同揣度长度进行的可视化践诺进一步解说了 FilterNet 的高大处罚智商。

3. 揣度狂放的可视化

与其他最新模子比较，FilterNet 在揣度改日序列变化方面展现了出色的准确性，充说明说了其不凡的性能。

4. 遵守分析

团队还在两个不同的数据集上对 FilterNet 进行了相应的遵守分析践诺，践诺狂放标明，不管数据集大小，FilterNet 齐认知出比 Transformer 措施更高的遵守。

天然在每个 epoch 磨真金不怕火时刻上，FilterNet 比 DLinear 略差，然而 FilterNet 后果比 DLinear 要好。

为时刻序列揣度提供新念念路

这篇论文是初次尝试将频率滤波器平直应用于时刻序列揣度的责任，从信号处罚的角度切入是一个极度酷好酷好酷好酷好的新念念路。

商议团队建议了一种简便而高效的架构—— FilterNet，该架构基于他们推测打算的两类频率滤波器来终了揣度成见。在八个基准数据集上的全面实考据明了 FilterNet 在后果和遵守方面的优胜性。

此外，团队成员还对 FilterNet 终点里面滤波器进行了缜密深切的模子分析，展示了其诸多优秀特点。

他们默示，但愿这项责任八成推进更多商议，将信号处罚时期或滤波经过与深度学习相衔尾，提高时刻序列建模与精准揣度的后果。

Paper Link：https://arxiv.org/abs/2411.01623

Code Repository：https://github.com/aikunyi/FilterNet

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿实质‍

附上论文 / 阵势主页集结，以及有关方式哦

咱们会（尽量）实时申诉你

点这里� � 温煦我，难忘标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日邂逅 ~