Functional & Calculus of variations

Fcuntional

普通形式：
$F(\rho) = \rho(x_0)$
定积分形式：
$F(\rho) = \int f(x, \rho,\rho', \rho'',...)dx$

Functional derivatives[2]

先从普通函数讲起：
对于普通函数 $F(x)$ ，我们通过对 $x$ 移动一小步 $dx$ ，可以定义在 $x_0$ 处 $F$ 的differential:
$dF = F(x_0+dx) - F(x_0)= \frac {dF}{dx} |_{x_0} dx$
由此，可以推广到多元函数 $F(x^1,x^2....x^n)在(x_0^1,x_0^2....x_0^n)$ 处的differential：
$dF = \frac {dF}{dx_0^1} |_{x_0^1} dx +....+ \frac {dF}{dx_0^n} |_{x_0^n}$
所以说，导数derivative（以及偏导）其实就是微分计算中，每一个微分偏量 $dx^i$ 前的系数
我们将这个式子可以用sum重写成：
$dF = \sum_i^N \frac {dF}{dx^i} \bigg |_{x_0^i}dx_0^i$
泛函导数的定义：
（当然，其实我们不能保证所有functional的导数都存在）
由此式子（泛函的differential或者是variation of the functional F）定义泛函 $F[\rho]$ 在 $\rho= \rho_0$ 处的导数，其中 $\phi$ 为任意函数：
$\delta F[\rho; \phi] = \int \frac {\delta F}{\delta \rho(x)} \bigg |_{\r_0}\phi(x) dx = \lim_{\epsilon \rightarrow 0} \frac {F[\r_0 + \epsilon \phi] - F[\r_0]}{\epsilon}$
可以类比下普通函数在 $(x_0^1,x_0^2....x_0^n)$ 点的total differential [2]：
$dF = \sum_i^N \frac {dF}{dx^i} \bigg |_{x_0^i}dx_0^i$

普通函数导数类比泛函导数的理解方式：
两者都可以理解为对 $F$ 的variation（ $dF$ ）等于在每“分量 $x^i$ ”处的变化率，即偏导数 $\frac{ dF}{dx^i}$ 乘以其变化量 $dx^i$ 。当 $N \rightarrow \inf$ 时，即有无穷多个independent variables。类比泛函导数中， $x$ 即为无限的连续的index
同时泛函由于有一个 $\phi(x)$ 项，所以可以类比普通函数的方向导数[2]，即在 $\phi(x)$ 方向上的导数（投影？）
其他相关概念理解：
其实泛函变分（variation） $\delta F$ 的概念即“variation of a functional”，与普通函数中微分（differential） $dF$ 的概念是相似的。同理"small change in input"在泛函中的 $\epsilon \phi(x)$ 普通函数中的 $dx$ 也是类似的。

泛函导数的推导：
本身是EL equation的一种泛化，首先，针对EL的形式设：
$F[\rho] = \int f(x,\rho,\rho') dx$
根据differential的定义，在 $\rho_0$ 处的：
$\delta F[\rho_0; \phi]$
$= \int \frac {\delta F}{\delta \rho(x)}\bigg |_{\r_0} \phi(x) dx$ （1）
$=[\frac {d}{d\epsilon} \int f(x,\rho_0 + \epsilon \phi, \rho_0' + \epsilon \phi' ) ]_{\epsilon = 0}$ （2）
$= \int [\frac {\partial f}{\partial x} \frac {\partial x}{\partial \epsilon} + \frac {\partial f}{\partial \rho} \frac {\partial (\rho + \epsilon \phi)}{\partial \epsilon} + \frac {\partial f}{\partial \rho'} \frac {\partial (\rho' + \epsilon \phi')}{\partial \epsilon}] dx$ （3）
$= \int [\frac {\partial f}{\partial \rho} \phi] dx + \int [\frac {\partial f}{\partial \rho'} \phi' ] dx$ （4）
$= \int [\frac {\partial f}{\partial \rho} \phi] dx + [\frac {\partial f}{\partial \rho'} \phi]' \bigg |_{x_{start}}^{x_{end}} - \int [(\frac {\partial f}{\partial \rho'})' \phi ] dx$ （5）
$=\int [\frac {\partial f}{\partial \rho} - (\frac {\partial f}{\partial \rho'})']\phi dx$ （6）
对比(1)和(6)，我们可以得到：
$\frac {\delta F}{\delta \rho_0} = \frac {\partial f}{\partial \rho} - (\frac {\partial f}{\partial \rho'})' \bigg |_{\r_0}$ （7）
注，这里 $(\frac {\partial f}{\partial \rho'})'$ 是对 $x$ 求导的意思，即 $\frac {d}{dx} \frac {\partial f}{\partial \rho'}$

解读：
(2)：通过定义，其实是就是转化成了求 $\epsilon=0$ 的极限值。注意，这里 $\rho \rightarrow \r + \epsilon \phi$ 两边同时对 $x$ 求导， $\epsilon$ 为常数， $\r,\phi$ 为 $x$ 的函数，所以得： $\rho' \rightarrow \r'+ \epsilon \phi'$
(3)：对 $\epsilon$ 求导，由于跟 $x$ 无关，直接对积分内的 $f$ 运用chain rule即可
(4)：化简，由于 $\frac {\partial x }{\partial \epsilon} = 0$ 所以第一项对 $x$ 的偏导可以消除
(5)：这一步主要想消除 $\phi'，$ 由 $(uv)'= u'v + uv'$ 两边同时积分再移项： $\int_a^b uv' = uv\bigg |_{a}^b - \int_a^b u'v$ 。注意， $\phi$ 是关于 $x$ 的函数，所以这里是对 $x$ 积分求导。
(6)：由于 $\phi$ 在边界上vanish，所以 $\phi(x_{start}) = \phi(x_{end}) = 0$ ，再合并积分项
(7)：为针对EL equation的推导，该导数的可以推广到更泛化的形式[5]，可以通过多元的泰勒一阶展开推导[5.Doc]
泛函导数的性质[6]：
如下几个性质与普通函数导数相同
Linearity
Product Rule
Chain Rule

泛函极值条件 Weak Extrema of Functional

函数中最小值的条件：一阶导数为0是必要非充分的，且极值点二阶导数非负，此时是充要的。
类似地，可以通过二阶变分[7] 得到泛函极小值的条件：
Necessary： $\delta F=0$
Sufficient： $\delta F(\rho_0) = 0$ 且在该点处， $\delta^2F(\rho_0)$ strongly positive[8]
相关条件以及证明见Refer[8]

边界条件 Natural boundary condition

Essential boundary conditions are imposed explicitly on the solution but natural boundary conditions are automatically satisfied after solution of the problem.
在没有端点固定的问题中。
1、需要满足除了EL-equation：一阶变分为0条件见上述式子（7）。这个逻辑非常天然符合直觉，即 $\rho_0(x)$ 使得问题取得极值的话，肯定也满足在其边界固定的问题中的极值条件。
2、还需要满足： $\frac {\partial f}{\partial \r'} \bigg |_{x=x_0} = 0$ 以及 $\frac {\partial f}{\partial \r'} \bigg |_{x= x_1} = 0$ 。
否则，泛函不可能取得极值。由于这个条件是在求变分极值过程中得到的条件，所以是自然边界条件。

Other

微积分演变
https://www.zhihu.com/question/27926053/answer/1017772036?utm_source=wechat_session

E-L equation
https://en.wikipedia.org/wiki/Euler%E2%80%93Lagrange_equation
推导：
https://math.stackexchange.com/questions/1885316/functional-derivative-how-to-obtain-delta-f-int-frac-delta-f-delta-f-de
https://www.cnblogs.com/bigmonkey/p/9519387.html

变分法(Calculus of Variations(variational method))：
https://baike.baidu.com/item/%E5%8F%98%E5%88%86%E6%B3%95/83603
https://en.wikipedia.org/wiki/Calculus_of_variations
https://zhuanlan.zhihu.com/p/20718489

思考，Functionals 与Cost Function
https://stats.stackexchange.com/questions/158348/can-a-neural-network-learn-a-functional-and-its-functional-derivative
以及Functional Gradient Descent
cost function本身，也可以当作是一个functional？我们用它来最优化得到最终的function。

Refer：

[1]
$\delta$ 与 $d$ 的差异：
https://math.stackexchange.com/questions/317338/differentiation-using-d-or-delta
$d$ stands for the exact differential 一般用在math中
$\delta$ refers to an inexact differential 一般用在physics中，inexact differentials

[2]
泛函
Functionals and the Functional Derivative
泛函导数，定义与计算方法：
见Doc：Functional Derivative
见：http://julian.tau.ac.il/bqs/functionals/node1.html
理解为方向导数见：https://bjlkeng.github.io/posts/the-calculus-of-variations/

[3]
https://en.wikipedia.org/wiki/Differential_of_a_function#Differentials_in_several_variables
involving the [partial derivative] of y with respect to x, The sum of the partial differentials with respect to all of the independent variables is the total differential

[4]
TODO（有关Radon-Nikodym定理，测度理论）

[5]
https://en.wikipedia.org/wiki/Functional_derivative
见 Determining functional derivatives中“An analogous application of the definition of the functional derivative yields”

[6]
https://en.wikipedia.org/wiki/Functional_derivative
见Properties

[7]:
Second Variation二阶变分。
https://encyclopediaofmath.org/wiki/Second_variation#:~:text=a%20sufficient%2C%20condition%20(under%20certain,at%20the%20point%20x0.&text=(the%20derivatives%20are%20evaluated%20at,x0(t)).

[8]
见：
1、https://en.wikipedia.org/wiki/Calculus_of_variations#Variations_and_sufficient_condition_for_a_minimum中的Variations and sufficient condition for a minimum
2、Notes on Sufficient Conditions for Extrema
3、https://math.stackexchange.com/questions/3155772/difficulty-understanding-sufficient-conditions-for-weak-extrema-in-calculus-of-v

[9]
1、见：https://math.stackexchange.com/questions/3315027/what-are-natural-boundary-conditions-in-the-calculus-of-variations
2、变分原理（Doc）中的自然边界条件。