文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

你还弄不懂的傅里叶变换,神经网络只用了30多行代码就学会了

2024-12-03 03:42

关注

在我们的生活中,大到天体观测、小到MP3播放器上的频谱,没有傅里叶变换都无法实现。

通俗来讲,离散傅里叶变换(DFT)就是把一串复杂波形中分成不同频率成分。

比如声音,如果用声波记录仪显示声音的话,其实生活中绝大部分声音都是非常复杂、甚至杂乱无章的。

而通过傅里叶变换,就能把这些杂乱的声波转化为正弦波,也就是我们平常看到的音乐频谱图的样子。

[[403197]]

不过在实际计算中,这个过程其实非常复杂。

如果把声波视作一个连续函数,它可以唯一表示为一堆三角函数相叠加。不过在叠加过程中,每个三角函数的加权系数不同,有的要加高一些、有的要压低一些,有的甚至不加。

傅里叶变换要找到这些三角函数以及它们各自的权重。

这不就巧了,这种找啊找的过程,像极了神经网络

神经网络的本质其实就是逼近一个函数。

那岂不是可以用训练神经网络的方式来搞定傅里叶变换?

这还真的可行,并且最近有人在网上发布了自己训练的过程和结果。

DFT=神经网络

该怎么训练神经网络呢?这位网友给出的思路是这样的:

首先要把离散傅里叶变换(DFT)看作是一个人工神经网络,这是一个单层网络,没有bias、没有激活函数,并且对于权重有特定的值。它输出节点的数量等于傅里叶变换计算后频率的数量。

具体方法如下:

这是一个DFT:

一个信号可以表示为所有正弦信号的和。

yk是一个复值,它给出了信号x中频率为k的正弦信号的信息;从yk我们可以计算正弦的振幅和相位。

换成矩阵式,它就变成了这样:

这里给出了特定值k的傅里叶值。

不过通常情况下,我们要计算全频谱,即k从[0,1,…N-1]的值,这可以用一个矩阵来表示(k按列递增,n按行递增):

简化后得到:

看到这里应该还很熟悉,因为它是一个没有bias和激活函数的神经网络层。

指数矩阵包含权值,可以称之为复合傅里叶权值(Complex Fourier weights),通常情况下我们并不知道神经网络的权重,不过在这里可以。

通常我们也不会在神经网络中使用复数,为了适应这种情况,就需要把矩阵的大小翻倍,使其左边部分包含实数,右边部分包含虚数。

带入DFT,可以得到:

然后用实部(cos形式)来表示矩阵的左半部分,用虚部(sin形式)来表示矩阵的右半部分:

简化后可以得到:

称为傅里叶权重

需要注意的是,y^和y实际上包含相同的信息,但是y^

不使用复数,所以它的长度是y的两倍。

换句话说,我们可以用

表示振幅和相位,但是我们通常会使用

现在,就可以将傅里叶层加到网络中了。

用傅里叶权重计算傅里叶变换

现在就可以用神经网络来实现

,并用快速傅里叶变换(FFT)检查它是否正确。

  1. import matplotlib.pyplot as plt 
  2.  
  3.  
  4. y_real = y[:, :signal_length] 
  5. y_imag = y[:, signal_length:] 
  6. tvals = np.arange(signal_length).reshape([-11]) 
  7. freqs = np.arange(signal_length).reshape([1, -1]) 
  8. arg_vals = 2 * np.pi * tvals * freqs / signal_length 
  9. sinusoids = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / signal_length 
  10. reconstructed_signal = np.sum(sinusoids, axis=1
  11.  
  12.  
  13. print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)**2))) 
  14. plt.subplot(211
  15. plt.plot(x[0,:]) 
  16. plt.title('Original signal'
  17. plt.subplot(212
  18. plt.plot(reconstructed_signal) 
  19. plt.title('Signal reconstructed from sinusoids after DFT'
  20. plt.tight_layout() 
  21. plt.show() 
  1. rmse: 2.3243522568191728e-15 

得到的这个微小误差值可以证明,计算的结果是我们想要的。

  1. import matplotlib.pyplot as plt 
  2.  
  3.  
  4. y_real = y[:, :signal_length] 
  5. y_imag = y[:, signal_length:] 
  6. tvals = np.arange(signal_length).reshape([-11]) 
  7. freqs = np.arange(signal_length).reshape([1, -1]) 
  8. arg_vals = 2 * np.pi * tvals * freqs / signal_length 
  9. sinusoids = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / signal_length 
  10. reconstructed_signal = np.sum(sinusoids, axis=1
  11.  
  12.  
  13. print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)**2))) 
  14. plt.subplot(211
  15. plt.plot(x[0,:]) 
  16. plt.title('Original signal'
  17. plt.subplot(212
  18. plt.plot(reconstructed_signal) 
  19. plt.title('Signal reconstructed from sinusoids after DFT'
  20. plt.tight_layout() 
  21. plt.show() 
 
  1. rmse: 2.3243522568191728e-15 

最后可以看到,DFT后从正弦信号重建的信号和原始信号能够很好地重合。

通过梯度下降学习傅里叶变换

现在就到了让神经网络真正来学习的部分,这一步就不需要向之前那样预先计算权重值了。

首先,要用FFT来训练神经网络学习离散傅里叶变换:

  1. import tensorflow as tf 
  2.  
  3.  
  4. signal_length = 32 
  5.  
  6.  
  7. # Initialise weight vector to train: 
  8. W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5
  9.  
  10.  
  11. # Expected weights, for comparison: 
  12. W_expected = create_fourier_weights(signal_length) 
  13.  
  14.  
  15. losses = [] 
  16. rmses = [] 
  17.  
  18.  
  19. for i in range(1000): 
  20.     # Generate a random signal each iteration: 
  21.     x = np.random.random([1, signal_length]) - 0.5 
  22.      
  23.     # Compute the expected result using the FFT: 
  24.     fft = np.fft.fft(x) 
  25.     y_true = np.hstack([fft.real, fft.imag]) 
  26.      
  27.     with tf.GradientTape() as tape: 
  28.         y_pred = tf.matmul(x, W_learned) 
  29.         loss = tf.reduce_sum(tf.square(y_pred - y_true)) 
  30.      
  31.     # Train weights, via gradient descent: 
  32.     W_gradient = tape.gradient(loss, W_learned)     
  33.     W_learned = tf.Variable(W_learned - 0.1 * W_gradient) 
  34.  
  35.  
  36.     losses.append(loss) 
  37.     rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2))) 
 
  1. Final loss value 1.6738563548424711e-09 
  2. Final weights' rmse value 3.1525832404710523e-06 

得出结果如上,这证实了神经网络确实能够学习离散傅里叶变换。

训练网络学习DFT

除了用快速傅里叶变化的方法,还可以通过网络来重建输入信号来学习DFT。(类似于autoencoders自编码器)。

自编码器(autoencoder, AE)是一类在半监督学习和非监督学习中使用的人工神经网络(Artificial Neural Networks, ANNs),其功能是通过将输入信息作为学习目标,对输入信息进行表征学习(representation learning)。

  1. W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5
  2.  
  3.  
  4. tvals = np.arange(signal_length).reshape([-11]) 
  5. freqs = np.arange(signal_length).reshape([1, -1]) 
  6. arg_vals = 2 * np.pi * tvals * freqs / signal_length 
  7. cos_vals = tf.cos(arg_vals) / signal_length 
  8. sin_vals = tf.sin(arg_vals) / signal_length 
  9.  
  10.  
  11. losses = [] 
  12. rmses = [] 
  13.  
  14.  
  15. for i in range(10000): 
  16.     x = np.random.random([1, signal_length]) - 0.5 
  17.      
  18.     with tf.GradientTape() as tape: 
  19.         y_pred = tf.matmul(x, W_learned) 
  20.         y_real = y_pred[:, 0:signal_length] 
  21.         y_imag = y_pred[:, signal_length:] 
  22.         sinusoids = y_real * cos_vals - y_imag * sin_vals 
  23.         reconstructed_signal = tf.reduce_sum(sinusoids, axis=1
  24.         loss = tf.reduce_sum(tf.square(x - reconstructed_signal)) 
  25.  
  26.  
  27.     W_gradient = tape.gradient(loss, W_learned)     
  28.     W_learned = tf.Variable(W_learned - 0.5 * W_gradient) 
  29.  
  30.  
  31.     losses.append(loss) 
  32.     rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2))) 
 
  1. Final loss value 4.161919455121241e-22 
  2. Final weights' rmse value 0.20243339269590094 

作者用这一模型进行了很多测试,最后得到的权重不像上面的例子中那样接近傅里叶权值,但是可以看到重建的信号是一致的。

换成输入振幅和相位试试看呢。

  1. W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5
  2.  
  3.  
  4. losses = [] 
  5. rmses = [] 
  6.  
  7.  
  8. for i in range(10000): 
  9.     x = np.random.random([1, signal_length]) - .5 
  10.      
  11.     with tf.GradientTape() as tape: 
  12.         y_pred = tf.matmul(x, W_learned) 
  13.         y_real = y_pred[:, 0:signal_length] 
  14.         y_imag = y_pred[:, signal_length:] 
  15.         amplitudes = tf.sqrt(y_real**2 + y_imag**2) / signal_length 
  16.         phases = tf.atan2(y_imag, y_real) 
  17.         sinusoids = amplitudes * tf.cos(arg_vals + phases) 
  18.         reconstructed_signal = tf.reduce_sum(sinusoids, axis=1
  19.         loss = tf.reduce_sum(tf.square(x - reconstructed_signal)) 
  20.  
  21.  
  22.     W_gradient = tape.gradient(loss, W_learned) 
  23.     W_learned = tf.Variable(W_learned - 0.5 * W_gradient) 
  24.  
  25.  
  26.     losses.append(loss) 
  27.     rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2))) 
 
  1. Final loss value 2.2379359316633115e-21 
  2. Final weights' rmse value 0.2080118219691059 

可以看到,重建信号再次一致;

不过,和此前一样,输入振幅和相位最终得到的权值也不完全等同于傅里叶权值(但非常接近)。

由此可以得出结论,虽然最后得到的权重还不是最准确的,但是也能够获得局部的最优解

这样一来,神经网络就学会了傅里叶变换!

首先,它没有解释计算出的权值和真正的傅里叶权值相差多少;

而且,也没有说明将傅里叶层放到模型中能带来哪些益处。

 

 

来源:量子位内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯