优化的算法有很多种，从最基本的梯度下降法到现在的一些启发式算法，如遗传算法(GA)，差分演化算法(DE)，粒子群算法(PSO)和人工蜂群算法(ABC)。
举一个例子，遗传算法和梯度下降：
梯度下降和遗传算法都是优化算法，而梯度下降只是其中最基础的那一个，它依靠梯度与方向导数的关系计算出最优值。遗传算法则是优化算法中的启发式算法中的一种，启发式算法的意思就是先需要提供至少一个初始可行解，然后在预定义的搜索空间高效搜索用以迭代地改进解，最后得到一个次优解或者满意解。遗传算法则是基于群体的启发式算法。
遗传算法和梯度下降的区别是：
1.梯度下降使用误差函数决定梯度下降的方向，遗传算法使用目标函数评估个体的适应度
2.梯度下降是有每一步都是基于学习率下降的并且大部分情况下都是朝着优化方向迭代更新，容易达到局部最优解出不来；而遗传算法是使用选择、交叉和变异因子迭代更新的，可以有效跳出局部最优解
3.遗传算法的值可以用二进制编码表示，也可以直接实数表示
遗传算法如何使用它的内在构造来算出 α 和 β ：
主要讲一下选择、交叉和变异这一部分：
1.选择运算:将选择算子作用于群体。选择的目的是把优秀（适应值高）的个体直接遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。
2.交叉运算：将交叉算子作用于群体。遗传算法中起核心作用的就是交叉算子。交叉算子是将种群中的个体两两分组，按一定概率和方式交换部分基因的操作。将交叉算子作用于群体。遗传算法中起核心作用的就是交叉算子。例如：（根据概率选取50个个体，两两配对，交换x,y，比如之前两个是(x1,y1),(x2,y2)，之后变成了（x1,y2）,(x2,y1)）
3.变异运算：将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值作变动。（x2可能变为x2+δ，y1变为y1+δ）
种群P(t)经过选择、交叉、变异运算之后得到下一代种群P(t+1)。
遗传算法就是通过对大量的数据个体使用选择、交叉和变异方式来进化，寻找适合问题的最优解或者满意解。
遗传算法参数的用处和设置：
1.编码选择：通常使用二进制编码和浮点数编码，二进制适合精度要求不高、特征较少的情况。浮点数适合精度高、特征多的情况
2.种群：种群由个体组成，个体中的每个数字都代表一个特征，种群个体数量通常设置在40-60之间；迭代次数通常看情况定若计算时间较长可以在100内，否则1000以内都可以。
3.选择因子：通常有轮盘赌选择和锦标赛选择，轮盘赌博的特点是收敛速度较快，但优势个体会迅速繁殖，导致种群缺乏多样性。锦标赛选择的特点是群多样性较为丰富，同时保证了被选个体较优。
4.交叉因子：交叉方法有单点交叉和两点交叉等等，通常用两点交叉。交叉概率则选择在0.7-0.9。概率越低收敛越慢时间越长。交叉操作能够组合出新的个体，在串空间进行有效搜索，同时降低对种群有效模式的破坏概率。
5.变异因子：变异也有变异的方法和概率。方法有均匀变异和高斯变异等等；概率也可以设置成0.1。变异操作可以改善遗传算法的局部搜索能力，丰富种群多样性。
6.终止条件：1、完成了预先给定的进化代数；2、种群中的最优个体在连续若干代没有改进或平均适应度在连续若干代基本没有改进；3、所求问题最优值小于给定的阈值.
