首先介绍LMS算法的优点:
1、算法编程简单;
2、计算复杂度是线性的故计算高效(相比于非线性);
3、对于外部扰动来说,它是一个独立模型,它是鲁棒的。
缺点:
1、LMS算法的收敛速度慢,需要输入空间维数的10倍迭代次数才能达到稳定状态;
2、收敛行为对于输入向量x的相关矩阵中的条件数(最大特征值/最小特征值)非常敏感。
什么是最小均方算法呢?
根据 1/2(n时刻的误差信号)^2 代价函数
最小化代价函数:对权值向量求偏导,再对瞬时权值向量求偏导
得到 瞬间估计g(我理解为瞬时权值项链的斜率)
最后写出LMS算法的公式:
(n+1)的瞬时向量 = n的瞬时向量+瞬间估计g*误差信号e
如何描述LMS算法的有效性呢?
通过维纳滤波器,在遍历过程中,观察样本无穷大时,线性最小二乘器趋向于维纳滤波器。它是一个线性最优滤波问题的维纳解。
迭代次数n的权值误差向量=w0-wn w0是维纳解,wn是迭代n次的权值向量
通过马尔科夫模型描绘LMS与维纳滤波器的误差:
迭代次数(n+1)的权值误差向量=一个权值*迭代次数n的权值误差向量+附加的噪声项 “一个权值”“附加的噪声项”详见p64
LMS算法的最大优点,以及它的原理是什么呢?
最小均方算法的最大优点就是鲁棒性。
这里先介绍郎之万方程:
主要可以理解为粘滞铃中分子作用于粒子的总驱动由两个部分组成,
1、依据Stoke定律的等于-av(t)的阻尼力,其中a是摩擦系数
2、涨落力F(t)
这两个力合成合力。
该郎之万方程的特殊形式就是马尔可夫模型。
依据郎之万方程的特点,从定性上讲,算法围绕维纳解执行布朗运动来描述。
故说明该LMS方程具有鲁棒性。
登录 | 立即注册