Piecewise的主要思想是将定义域进行切割,然后再每块上分别进行拟合,这样就会得到一个分段函数。考虑1维问题,并且假设将定义域分位3段,模型用示性函数进行表示为:
,但这样会出现一个问题,那就是在切割点的时候函数可能会不连续,为了解决这个问题,我们加入条件限制切割点的左极限和右极限相等,即左右函数在切割点的取值相同。因为加入了新的条件,所以之间会多了2个等式,这就等于减少了2个需要估计的变量。但这样的话我们需要改变原来的定义方式,否则如果左右端点的取值确定,线性拟合出的函数唯一确定。所以新的模型为:
,
这个式子中h3和h4起到了类似示性函数的作用,但同样确保了切割点左右极限相等(把e1,e2代入方程简单可证)
一般piecewise问题,我们会选择在每段上进行3阶拟合,即拟合到,理由是为了确保在全定义域上一,二阶可导(一般在拟合时都会追求一二阶可导,一个是因为可以泰勒展开,另一个是求很多问题(最优化)时会用到一二阶的信息),模型为:
(# region * order)-(# knots) * (order)=3 * 4-2 * 3=6个参数
更普遍的模型是:
, M是阶数+1,一般M取1(constant piecewise),2(piecewise linear),4(cubic spline)
,K是节点数
估计参数:
和线性回归类似的,有可能不可逆,所以在估计参数时加上一个罚函数,一个典型的罚函数是L2:
或者是smooth spline,用另一种罚函数