众文网1.梯度下降法和粒子群优化算法的区别
摘 要：，粒子群算法据自己的速度来决定搜索过程，只有最优的粒子把信息给予其他的粒子，整个搜索更新过程是跟随当前最优解的过程，所有的粒子还可以更快的收敛于最优解。
由于微粒群算法简单，容易实现，与其它求解约束优化问题的方法相比较，具有一定的优势。实验结果表明，对于无约束的非线性求解，粒子群算法表现出较好的收敛性和健壮性。
关键词：粒子群算法；函数优化；极值寻优0 引言非线性方程的求根问题是多年来数学家努力解决的问题之一。长期以来，人们已找出多种用于解决方程求根的方法，例如牛顿法、弦割法、抛物线法等。
然而，很多传统的方法仅能运用于相应的小的问题集，推广性相对较差。对于一个现实世界中的优化问题，必须尝试很多不同的方法，甚至要发明相应的新的方法来解决，这显然是不现实的。
我们需要另外的方法来克服这样的困难。粒子群算法是一种现代启发式算法，具有推广性强、鲁棒性高等特点[1]。
该算法具有群体智能、内在并行性、迭代格式简单、可快速收敛到最优解所在区域等优点[2]。本文采用粒子群算法，对函数的极值进行寻优计算，实现了对函数的极值求解。
1 粒子群算法1.1 基本原理粒子群算法（PSO）是一种基于群体的随机优化技术，它的思想来源于对鸟群捕食行为的研究与模拟。粒子群算法与其它基于群体的进化算法相类似，选用“群体”和“进化”的概念，按照个体的适应度值进行操作，也是一种基于迭代的寻优技术。
区别在于，粒子群算法中没有交叉变异等进化算子，而是将每个个体看作搜索空间中的微粒，每个微粒没有重量和体积，但都有自己的位置向量、速度向量和适应度值。所有微粒以一定的速度飞行于搜索空间中，其中的飞行速度是由个体飞行经验和群体的飞行经验动态调整，通过追踪当前搜索到的最优值来寻找全局最优值。
1.2 参数选择粒子群算法需要修改的参数很少，但对参数的选择却十分敏感。El-Gallad A, El-Hawary M, Sallam A, Kalas A[3]主要对算法中的种群规模、迭代次数和粒子速度的选择方法进行了详细分析，利用统计方法对约束优化问题的求解论证了这 3 个参数对算法性能的影响，并给出了具有一定通用性的3 个参数选择原则[4]。
种群规模：通常根据待优化问题的复杂程度确定。最大速度：决定粒子在一次迭代中的最大移动距离，通常设定为不超过粒子的范围宽度。
加速常数：加速常数c1和c2通常是由经验值决定的，它代表粒子向pbest和gbest靠拢的加速项的权重。一般取值为：c1=c2=2。
中止条件：达到最大迭代次数或得到最小误差要求，通常要由具体问题确定。惯性权重：惯性权重能够针对待优化问题调整算法的局部和全局搜索能力。
当该值较大时有利于全局搜索，较小时有利于局部搜索。所以通常在算法开始时设置较大的惯性权重，以便扩大搜索范围、加快收敛。
而随着迭代次数的增加逐渐减小惯性权重的值，使其进行精确搜索，避免跳过最优解。1.3 算法步骤PSO算法步骤如下：Step1：初始化一个规模为 m 的粒子群，设定初始位置和速度。
初始化过程如下：（1）设定群体规模m;(2)对任意的i,s，在[-xmax, xmax]内均匀分布，产生初始位置xis;(3)对任意的i,s，在[-vmax, vmax]内均匀分布，产生速度vis;(4)对任意的i，设yi=xi，保存个体。Step2：计算每个粒子的适应度值。
Step3：对每个粒子的适应度值和得到过的最好位置pis的适应度值进行比较，若相对较好，则将其作为当前的最好位置。Step4：对每个粒子的适应度值和全局得到过的最好位置pgs的适应度值进行比较，若相对较好，则将其作为当前的全局最好位置。
Step5：分别对粒子的所在位置和速度进行更新。Step6：如果满足终止条件，则输出最优解；否则，返回Step2。
1.4 粒子群算法函数极值求解粒子群算法优化是计算机智能领域，除蚁群算法外的另一种基于群体智能的优化算法。粒子群算法是一种群体智能的烟花计算技术。
与遗传算法相比，粒子群算法没有遗传算法的选择（Selection）、交叉（Crossover）、变异（Mutation）等操作，而是通过粒子在解空间追随最优的粒子进行搜索。粒子群算法流程如图所示：粒子群为由n个粒子组成的种群X = (X1,X2,X3，…Xn).第i个粒子表示一个D维向量Xi = (X1,X2,X3，…XD)T.第i个粒子的速度为Vi = (Vi1,Vi2,Vi3，…ViD)T.个体极值为Pi = (Pi1,Pi2,Pi3，…PiD)T.全局极值为Pg = (Pg1,Pg2,Pg3，…PgD)T.速度更新为，式中，c1和c2为其两个学习因子的参数值；r1和r2为其两个随机值。
位置更新为.2 粒子群算法应用举例2.1 实验问题这是一个无约束函数的极值寻优，对于Ackley函数，.其中c1=20,e=2. 71289。2.2 实验步骤对于Ackley函数图形，选取一个凹峰进行分析，程序运行结果如图所示。
图1 Ackley函数图形可以看出，选取区间内的Ackley函数图形只有一个极小值点。因此，对于该段函数进行寻优，不会陷入局部最小。
采用粒子群算法对该函数进行极值寻优。首先，进行初始化粒子群，编写的MATLAB代码如下：% 初始化种群for i=1:sizepopx1 = popmin1 (popmax1-popmin1)*rand； % 产生随机个体x2 = popmin2 (popmax2-popmin2)*rand;pop(i,1) = x1； % 保存产。
2.梯度下降的求解过程
顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。
其迭代公式为 ，其中 代表梯度负方向， 表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢知。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标ak+1看做是的函数，然后求满足f(ak+1)的最小值的 即可。
因为一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值道。
转载请注明出处众文网 » 梯度下降法做本科毕业论文(梯度下降法和粒子群优化算法的区别)