设计线性系统

1. 多项式回归

将黑盒中的系统假设为多项式函数。

设系统的输入为 $x$，输出为 $y$，用多项式 $f(x)\equiv a_0+a_1x+a_2x^2+\cdots+a_{n-1}x^{n-1}$ 去拟合。

得矩阵方程：$Ax=b$，其中 $A$ 为 Vandermonde 矩阵，$b$ 为输出向量。

2. 最小二乘法

对于多于 $n$ 个数据点的情况，使用最小二乘法，

$$\begin{aligned} &\min \quad \Vert A\vec x-\vec b\Vert^2_2 \end{aligned}$$

对 $\vec{x}$ 求梯度，转化为求解 $A^TA\vec{x}=A^T\vec{b}$. 其中称 $A^TA$ 为Gram 矩阵。

3. Tikhonov 正则化

对于 $Ax=b$ 的情况，使用 Tikhonov 正则化方法来求解：

$$\begin{aligned} &\min \quad \Vert Ax-b\Vert^2_2+\lambda\Vert x\Vert^2_2 \end{aligned}$$

其中 $\lambda$ 为正则化参数(惩罚因子)，满足 $0<\lambda <\!\!<1$，使得结果不会产生过拟合。

求梯度后得到 $(A^TA+\lambda I)\vec x = A^T\vec b$，解之即可。

[!TIP]

1. Guassian: $\min_{\vec x} \Vert A\vec x -\vec b\Vert_2^2 + \alpha \Vert\vec x \Vert_2^2$.
2. Lasso: $\min_{\vec x} \Vert A\vec x -\vec b\Vert_2^2 + \beta \Vert\vec x \Vert_1$.
3. Elastic net: $\min_{\vec x} \Vert A\vec x -\vec b\Vert_2^2 + \alpha \Vert\vec x \Vert_2^2 + \beta \Vert\vec x \Vert_1$.

4. Cholesky 分解

对于 令

$$E=\left( \begin{matrix} 1/\sqrt{c_{11}}& \vec{0}^T\\ -\frac{1}{c_{11}}\vec v& I_{(n-1)\times (n-1)}\\ \end{matrix} \right)$$

则

$$ECE^T = \left ( \begin{matrix} 1& \vec{0}^T\\ \vec{0}& C_{11}\\ \end{matrix} \right)$$

如此操作多次，可得 $C = LL^T$ 中的 $L=\prod_{i=1}^n E_i^{-1}$