JobPlus知识库 IT 工业智能4.0 文章
最小均方算法

首先介绍LMS算法的优点:

1、算法编程简单;

2、计算复杂度是线性的故计算高效(相比于非线性);

3、对于外部扰动来说,它是一个独立模型,它是鲁棒的。

缺点:

1、LMS算法的收敛速度慢,需要输入空间维数的10倍迭代次数才能达到稳定状态;

2、收敛行为对于输入向量x的相关矩阵中的条件数(最大特征值/最小特征值)非常敏感。


什么是最小均方算法呢?

根据    1/2(n时刻的误差信号)^2   代价函数

最小化代价函数:对权值向量求偏导,再对瞬时权值向量求偏导  

得到  瞬间估计g(我理解为瞬时权值项链的斜率)

最后写出LMS算法的公式:

(n+1)的瞬时向量 = n的瞬时向量+瞬间估计g*误差信号e



如何描述LMS算法的有效性呢?

通过维纳滤波器,在遍历过程中,观察样本无穷大时,线性最小二乘器趋向于维纳滤波器。它是一个线性最优滤波问题的维纳解。

迭代次数n的权值误差向量=w0-wn      w0是维纳解,wn是迭代n次的权值向量

通过马尔科夫模型描绘LMS与维纳滤波器的误差:

迭代次数(n+1)的权值误差向量=一个权值*迭代次数n的权值误差向量+附加的噪声项      “一个权值”“附加的噪声项”详见p64



LMS算法的最大优点,以及它的原理是什么呢?

最小均方算法的最大优点就是鲁棒性。

这里先介绍郎之万方程:

主要可以理解为粘滞铃中分子作用于粒子的总驱动由两个部分组成,

1、依据Stoke定律的等于-av(t)的阻尼力,其中a是摩擦系数

2、涨落力F(t) 

这两个力合成合力。

该郎之万方程的特殊形式就是马尔可夫模型。

依据郎之万方程的特点,从定性上讲,算法围绕维纳解执行布朗运动来描述。

故说明该LMS方程具有鲁棒性。


如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

¥ 打赏支持
122人赞 举报
分享到
用户评价(0)

暂无评价,你也可以发布评价哦:)

4 人收藏了这篇文章
腾讯云数据库性能卓越稳定可靠,为您解决数据库运维难题
广告
扫码APP

扫描使用APP

扫码使用

扫描使用小程序