1.2023 TNNLS：A Novel Swarm Exploring Varying Parameter Recurrent Neural Network for Solving Non-Convex Nonlinear Programming.

本文提出一种群探索变参数递归神经网络非凸非线性优化问题求解方法(A Novel Swarm Exploring Varying Parameter Recurrent Neural Network for Solving Non-Convex Nonlinear Programming, SE-VPRN).

核心思想为：由变参数递归神经网络求解局部最优问题(需优化问题和约束条件可导)；各个网络收敛到局部最优后，由粒子群进行信息交换，更新速度和位置；在粒子群应用过程中，采用了小波变异，进而增加了粒子的多样性。即本文思想为，利用递归神经网络高效精确的局部搜索能力和元启发式算法全局搜索能力相结合求解非凸非线性问题。

可用句：（1）由于众多局部最小点和高效能的需要，高效求解非凸优化问题为优化求解领域的一个挑战。（2）粒子群优化由Eberhart和Kennedy在1995年通过研究鸟类的捕食行为提出，该算法通过在每个个体之间共享信息来获得最优解。

改进的方法：（1）采用小波变异方法增加粒子的多样性。粒子的多样性能够被计算为：$s=\frac{1}{P}\left|x^{(k+1)}-x^*\right|_2$, 其中$P$为粒子的数目，$x^{k+1}$为粒子第$k+1$次的位置，$x^*$为当前的全局最优解。即，种群的粒子们离全局最优点越近，粒子群的多样性越弱。

（2）小波变异因子设计为：$\tau=\frac{1}{\sqrt{v}} \exp ^{-(\mu / v)^2 / 2} \cos \left(\frac{5 \mu}{v}\right)$。其中，$v=\exp (10(k / K))$，$K$表示最大迭代次数，$\mu$为$[-2.5 v, 2.5 v]$的随机数。即，随着$k$的不断增大，$v$也随之不断增大，而$\tau$中的$\mu / v$的比值范围并未发生变化，故随着$v$的增大，$\tau$会越来越小。

（3）粒子的初始位置更新如下，如果$s<\eta$($\eta$表示粒子多样性的阈值，需提前设定)，粒子的位置被通过以下公式进行更新：$x_i^{(k+1)}=x_i^{(k+1)}+\tau\left(\bar{x}_i-x_i^{(k+1)}\right), \quad \tau>0; x_i^{(k+1)}+\tau\left(x_i^{(k+1)}-\underline{x}_i\right)$。其中，$\bar{x}_i$和$\underline{x}_i$分别表示第$i$个变量的上约束和下约束。

2.2017 PE：Parameter Estimation for VSI-Fed PMSM Based on a Dynamic PSO With Learning Strategies.

核心思想：本文提出一种基于学习的动态粒子群优化( dynamic particle swarm optimization with learning strategy, DPSO-LS)用于永磁同步电机的参数估计。提出了两点针对PSO寻优的改进，首先，设计了一种带有变探索向量的运动修正公式，有助于粒子群搜索更大的空间，增强全局搜索能力；其次，开发了一种基于高斯分布的动态对立学习策略(dynamic opposition-based learning, OBL)帮助粒子跳出局部最优点。

改进的方法：

所优化的目标函数是多模态的->要求所提的参数优化当问题的求解方案发生变化时，能够自适应的改变原始的轨迹以探索新的空间

（1）带有可变探索矢量的运动更新公式：

如果收敛过快，总是朝着局部位置在少数次迭代后迅速收缩，这种行为将导致粒子群多样性的损失->由于同质的搜索行为和自适应探索能力的缺失，将导致粒子们无法跳出局部区域。

一种改进的运动修正方程->使粒子自适应的改变自己的原始轨迹以探索新的搜索空间->粒子们朝向不同的有前景的区域，同时扩宽探索的解空间。（在原粒子速度更新的基础上，增加一项随机探索项）

$V_{\mathrm{id}}(t+1)=\phi V_{id}+c_1 rand_1(Pbest(t)-X_{id}(t))+c_2 rand_2(gBest(t)-X_{id}(t))+c_3 rand_3(R(t)-X_{id}(t))$

$X_{id}(t+1)=X_{id}(t)+V_{id}(t+1)$

其中，$\phi$为惯性因子，$c_1$和$c_2$为加速度因子，$rand_1$和$rand_2$为两个位于区间[0,1]的随机数，$t$为迭代次数，$pBest_{id}$为第$i$个粒子当前发现的最佳位置（个体最优），$gBest_d$为整个种群发现的最佳位置（全局最优）。

在上式中，探索向量$R(t)-X_{id}(t)$通过使用可变探索半径$R(t)$，为粒子提供一个更宽的探索解空间->其有大概率允许粒子覆盖更大的搜索空间。$R(t)$的计算公式如下：

$R(t)=\frac{\left(X_{\max }^d+X_{\min }^d\right)}{2}+\frac{\left(X_{\max }^d-X_{\min }^d\right)}{2} \cdot e^{-\lambda t} \cdot \cos (2 \pi u)$

其中，u为区间[0,1]的随机数，$X_{min}^d$和$X_{max}^d$分别是所求解问题的上约束和下约束，$\lambda$为大于等于2的调节参数。公式中，分为了两部分，第一部分获取该优化变量的中间值，第二部分为优化变量所取值半径乘一个随迭代次数增加而逐渐减小的因子，同时cos提供了随机性。

修正的粒子群速度允许粒子们探索更大未访问的区域，大的R(t)将使粒子们离开当前的区域，搜索另一个区域，而小的R(t)精细化了当前最优位置附近的探索。

（2）针对个体最优的动态对立学习策略

自适应高斯分布的动态OBL策略->帮助个体最优跳出局部最优解。
OBL最早由文献Opposition based differential evolution提出，允许当前的群体算法在搜索的反方向搜索最优点。文献Mathematical and experimental analyses of oppositional algorithms证明相反的点比随机点收益更大，且能够加速其它演化算法的收敛。

OBL的基本思想是在粒子向前探索时，同时进行反向搜索：$\tilde{x}=a+b-x$。其中，$x$是位于间隔[a,b]之间的实数，$\tilde{x}$为$x$的相反数。对于$D$维空间的参数优化，即$x_1, x_2, \ldots, x_D \in R$，且$x_i \in\left[a_i, b_i\right]$，有：$\tilde{x}_ i=a_i+b_i-x_i$。

为了克服传统OBL的缺点，提升pBest的收敛速度，基于自适应高斯分布的动态OBL策略设计为：

$op\operatorname{Best}_{id}=a_d(t)+b_d(t)-\left(1-\operatorname{Gaussian}\left(\mu, \sigma^2\right)\right) \cdot pBest_{id}$

其中，$a_d(t)=\min \left(p \operatorname{Best}_{\mathrm{id}}\right)$，$b_d(t)=\max \left(p \operatorname{Best}_{\mathrm{id}}\right)$，即分别对应$pBest_{id}$的最小值和最大值。$\operatorname{Gaussian}\left(\mu, \sigma^2\right)$为一个高斯分布的随机数，取$\mu=0$，即为零均值的高斯分布，$\sigma$为高斯分布的标准差。

为了获取一个更佳的$pBest$动态学习性能，设定$\sigma$以非线性减少，其计算公式为：$\sigma=\sigma_{\min }+\left(\sigma_{\max }-\sigma_{\min }\right)\left(1-\frac{t}{T}\right)^2$

其中，$\sigma_{max}$在本研究中取固定值1，$\sigma_{min}$取固定值0。采用Box-Muller转换$\sqrt{-2 \ln \left(1-u_1\right)} \cdot \cos \left(2 \pi \cdot u_2\right)$（$u_1$和$u_2$是在区间[0,1]的随机数）获取一个高斯分布随机值，进而可以得到一个随迭代次数增加而不断变小的变量：

$\operatorname{Gaussian}\left(\mu, \sigma^2\right)=\mu+\sigma \sqrt{-2 \ln \left(1-u_1\right)} \cdot \cos \left(2 \pi \cdot u_2\right)$

针对pBests的动态OBL策略原理图如右图所示，其中$O_c$为学习概率，符号$d$表示从总维度$D$中随机选择。由于并非所有维度粒子计算相反值并发生改变，故可以保留原始个体中的有用信息。

进行OBL的点中，该点和其对应的相反值被同时进行评估，以便继续使用最佳的点，即，如果$pBest_i{ }^{\text {new }}$的适应度要优于$pBest$的适应度，则第$i$个粒子的个体最优$pBest_i$将会被$opBest_i$取代。此方法为pBest提供了一个扰动，OBL跳出极值点的性能得以提升。‘

参数设定：种群的大小设置为50，惯性权重设定为[0.9, 0.4]，两个加速度因子c1和c2设定为1.49445，调节参数$\lambda$设定为6，对立学习概率$O_c$设定为0.38。所有的PSO算法，参数设定均相同，迭代次数300，运行次数30，在相同的硬件和软件平台上运行。所有实验均在配备Intel Core i5-2450M和4.0 GB DDR3 RAM的相同计算机上进行。

从右图可以看出，DPSO-LS的收敛速度比其他混合PSOs更快。DPSO-LS的更好性能可以从两个方面解释。首先，设计了一种使用可变探索向量的新型移动修正方程来更新粒子的速度。其次，引入了一个自适应高斯分布的动态OBL机制，以克服通过随机演化寻找$pBest$时的盲目性，并使其跳出局部最优。

3. 2022 Expert Systems With Applications: Novel enhanced Salp Swarm Algorithms using opposition-based learning schemes for global optimization problems

基于对立的学习策略：元启发式方法存在的局部最优和收敛性问题，通过生成相反的搜索方案，以提高搜索过程中的空间覆盖、准确性以及收敛性->OBL策略有助于收敛。

启发式求解背景：若随机猜测接近于全局最优点，种群将快速收敛；另一方面，若随机猜测离解非常远，如在最坏相反的情况，优化则需要相当长的时间甚至难以处理。若没有先验知识，最初无法做出最佳猜测，因此，我们应在优化过程中进行反向搜索。

本文所提的方法：1）初始化个体数为N的种群，分别计算当前粒子位置和反向位置的适应度。选择从初始位置和反向位置选取N个最优的值；2）对粒子的位置进行更新迭代，若满足条件则退出。不满足则计算适应度，从原始的解和反向的解中选出N个，更新粒子位置，继续迭代，直到达到设定的条件。

迭代过程中，OBL反向位置求取策略：

$a_j(t)=\min_{\forall i}{x_{i j}(t)}$, $b_j(t)=\max_{\forall i}{x_{i j}(t)}$, $\check{x}_{i j}=a_j(t)+b_j(t)-x_{i j}$