为什么很少拿神经网络来直接做滤波器呢？
其实无论是IIR（RNN）还是FIR(CNN)滤波器都可以看成一个简单神经网络，而且有严格的推理，可解释性比神经网络强多了，而已易于工程实现，因此在工程中大量应用。你说的含色噪声和其他乱七八糟的噪声难以滤除时，优先考虑现代信号处理方法（小波等）。
目前随着深度学习的兴起，深层神经网络进行信号滤波开始兴起（数据，算法，计算资源提升），虽然可解释性很弱吧。
举几个例子
基于深层神经网络的超低频信号降噪方法
详细的例子
MATLAB环境下基于深度学习的JPEG图像去块（Image Deblocking） - 哥廷根数学学派的文章 - 知乎 MATLAB环境下基于深度学习的JPEG图像去块（Image Deblocking） - 知乎
MATLAB环境下基于深度学习的语音降噪方法 - 哥廷根数学学派的文章 - 知乎 https://zhuanlan.zhihu.com/p/56
基于深度学习的超低频信号降噪方法
程序使用的深度学习模块为pytorch，运行环境为jupyter notebook和python，降噪结果如下
一种音频降噪优化方法—基于时频正则化重叠群收缩
该代码运行环境为MATLAB R2021B，一种音频降噪优化方法—基于时频正则化重叠群收缩，附带参考文献,英文注释，便于理解。
代码面包多下载，见评论区链接