正交实验设计。总听旁边的人说这个,于是想深入了解一下。
这个东西,感觉像优选法,通过合理的数据安排获得最优参数方案。优选法,搜了一下,发现就是最优化方法,从一系列实验值中找出最优的,也就是设置一个指标,然后通过选择合适的参数使这个指标最大。
在连续参数取值的情况下,就是各种函数最优化方法,也可以说是求函数极值,这在机器学习中应用非常广泛,调整参数,使参数模型和实际模型足够接近,实现更好的辨识效果。而在离散情形下,就是各种实验设计方法,毕竟实验受限于时间或者材料成本,往往只能选取几个特定的参数值进行。
从这个角度来看的话,正交试验就没有神秘的地方了,就是一种离散最优化方法。然后考虑具体实现,从普遍的角度来看,假如系统是强耦合的,对一个参数的改变会导致其他参数规律的改变,那么只能通过完全实验才能获得整体的变化规律。这就像在复杂曲面上求极值一样,每次实验就是获取一个曲面上的点,显然,取得点越多,复原出的形状就会越接近原始曲面,分析之后,取到原始曲面上的极值的几率就越大。
这就让我想到了微分几何,也就是参数空间的几何性质。本质上,对于给定的参数集,选取最优参数组合就是在这样的高维参数空间中求取某一超曲面的极值,选定指标其实就是选定了超曲面的形状。根据几何的知识,假如这个空间是普通的欧式空间,超曲面是超多面体,那么极值就出现在超多面体的顶点或者一条边,一个面上,这就回到了线性规划的内容上,或者说是凸优化。
假如空间不是这样的,那就不好说了,一种方法就是使用复杂的几何空间来描述,也就是黎曼几何之类的,每一点附近的度量方式都是不同的,使用依赖于坐标的度规张量描述,那就只能通过对各个局部进行欧式空间近似才可以拼接出一个相对整体的几何图景,这就变得非常复杂了,但在理论上还是很有意义的,可以研究高维几何的性质。
另一种方式就是增加参数个数,将结构的复杂转化为维度的升高,然后对这些新引入的参数添加约束,通过外在约束获得可取参数的子流形。于是就可以使用简单的最优化方法求取。不过,一般来说,这样的做法不够本质,所以是一种硬算的方法。
所以,最优化其实和力学关系很密切,都建立在某种几何上,想来也是必然的,因为力学中的最小作用量原理本质就是一种最优化思想。
扯远了,回到正交实验,这种方法是实用的,所以必然存在各种假设,这些假设将上面讨论的复杂几何排除在外,只考虑欧式空间的情形,对于效果超曲面也有限制,平移不变性,也就是各种参数之间具有独立性,这大概也是正交的由来,因为正交,所以一个参数再怎么变化,对于其他参数的规律而言毫无影响。
这种假设自然是过强了,很多参数天然是具有相关性的,所以需要在一定的近似程度上进行条件放松,就像各种物理公式一般,只要误差够小,就认为是同一的。这就像代数中的商结构一般,在较小的误差下认为对象是同一的。姑且可以写一个公式:物理=数学/{足够小的误差}。
与现实打交道,这样的让步必不可少,这样在所选参数具有弱相关性的基础上,就可以实现实验数目的减小,节省成本。至于具体的正交表的构建,最优参数的选取,其实都是机械化的,按照步骤进行,一般没有问题。
不过这里可以说一下的是正交表的设计,其实可以视为一种基于规则的结构选型,规则就是对于同一因素的不同水平的实验,其他因素的各水平均匀的分布,就像数独一样,按照一定的规则选择数字填入格子。
举个例子,对于实验112,121,133,这是对应于因素1水平1的三个实验,除了第一个都是1之外,第二个和第三个数字都遍历123。
继续考察因素1水平2的三个实验,211,223,232,具有同样的特征,第一个数字都是2,第二个和第三个数字都遍历123。
因素1水平3,313,322,331,也是同样的规律。
满足这个规则的可行解,数目应该很有限,既可以编制成表,随时查阅,也可以使用程序遍历筛选,迅速生成。
对于拓展情形,考虑参数间相互作用时,其实再使用这种方法就往往显得得不偿失,关系每复杂一分,离完全实验就近一步,实验设计的复杂性就多一分,这样很容易就搞错了,或者搞不懂,讲不清楚,用起来信心不足,其实就远离了实用性。