原创于：LitBro （一个希望中文网能有更多知识的小兄弟）
本文采用 BY-NC-SA协议，转载或引用请务必注明出处
?在研究生学习过程中，涉及到了数学物理中的反演问题，正常问题一般可简化为输入，输出和转换系统，即
其中，\(\mathbf{F}\) 表示转换关系（一般为算子或积分，已知），\(x\) 为输入参数，\(y\) 为输出数据，\(\mathbf{X}\) 和 \(\mathbf{Y}\) 为对应的赋范空间。从反问题的角度来考虑，求解问题变为
即已知输出数据，反求出输入参数。经常说问题的适定性对反问题求解存在很大的影响，先从适定性的定义出发，假设问题\(\eqref{eq1}\)是适定（well-posedness）的，则全部满足[1]：
? 要求问题\(\eqref{eq1}\)适定的条件下，等同于要求 \(\mathbf{F}^{-1}\) 存在且连续，然而很多问题都是不满足这个条件的，也就是说不适定。许多反问题都是不适定的，普遍存在 \(x\) 不连续依赖于 \(y\) ，并且 \(y\) 的微小扰动会使 \(x\) 产生剧烈波动的问题，也即病态问题，这时我们所求的反问题的解通常是最小二乘意义下的解 \(x^* \in \mathbf{X}\)，即
注：不可将适定性与病态性视作一种概念，并且它们没有从属关系，要理解需从各自的定义出发，可大致参考[知乎]，[Exchange]
病态（ill-conditioned）问题：当一个问题的输入受到微小的扰动即可引发输出解的剧烈变化时，也即问题的解对输入参数非常敏感，便称它是病态问题
? 反问题与不适定的联系主要表现在两个方面[2]：1、由于客观条件的限制，反问题中的数据往往是欠定或者过定的，这就导致解的不唯一性或者是解的不存在性；2、反问题的解对数据往往不具有连续依赖性，并且通常这种不连续这是导致反问题病态的原因。在\(\mathbf{F}^{-1}\) 的连续性不满足的情况下，即条件 \(C_3\) 不满足的情况，如何通过一组带有误差的数据稳定求出满足精度的结果，显然非常重要。
例1：考虑一个一维阶跃函数
\[{F}(x) = [x] \ (x \in R^1) \tag{4} \label{eq4} \]显然 \(\eqref{eq4}\) 并不连续，考虑 \({F}(3.001) = 3\) ，若存在误差 \(\delta\)，\(3.001+\delta = 2.999\)，那么 \({F}(2.999) = 2\)，显然一个很小的误差 \(\delta = -0.002\) 对求解带来了很大的影响，这也表明问题 \(\eqref{eq4}\) 是病态的。
例1合理性待确定，想通过这例子直观的反映出我对这部分内容的理解，如有不合理处或更好的举例还望不吝指教
? 为获得最小二乘意义下的解 \(x^*\) ，需要利用一种算法来求解最小化问题 \(\eqref{eq3}\) ，这些算法有：全局搜索算法，梯度类算法，凸优化算法等。这些算法都用各自的搜索方法寻求目标函数的极小值，并且这些算法的搜索效率和准确度在应用中各有优劣。对于适定非病态问题，这些算法都能稳定准确地得出结果，但对于不适定病态问题，这些算法无法足够稳定准确地求解，因此人们发展了正则化方法。
regularization: (n.) 规范化；正则；规则化；调整
正则化（regularization）这个名词听着总让人摸不着头脑，从中文词义上更是找不出含义。从英文名词的角度看，有添加约束，增加条件的含义。
?在实际反问题中，由于测量误差的无法避免，精确数据 \(y\) 无法得到，只有包含误差的数据 \(y_{\delta} = y + \delta\) ，这时相当于求解问题：
然而这通常是不可解的，\(\mathbf{F}^{-1}\) 也不可求，包含误差的 \(y_{\delta}\) 甚至很有可能不在空间 \(\mathbf{Y}\) 中，又或者解对数据非常敏感，使得 \(x_\delta\) 与精确解相差甚远，这时候构造一个正则算子 \(\mathbf{R}(\alpha)\) ，并且满足
这时
其中 \(x^{r}_{\delta}\) 表示误差数据 \(y_{\delta}\) 在正则算子下的解，并且 \(x^{r}_{\delta}\) 足够接近精确解 \(x\) 。其中 \(\alpha\) 与解的稳定性和准确性密切相关，一般来说 \(\alpha\) 越大稳定性越好，而 \(\alpha\) 越小解的准确度更高，因此选择一个依赖误差水平的正则化参数 \(\alpha(\delta)\) 来合适地平衡稳定性和准确性正是正则化的精妙所在。
例2：考虑一个 Heaviside 函数
\[H(x)= \begin{cases} 1 & x>0 \0 & x \le 0 \end{cases} \tag{8} \label{eq8} \]与 \(\eqref{eq4}\) 性质类似，因此 \(\eqref{eq8}\) 还有一个正则化的形式
\[H_r(x)= \begin{cases} 1 & x>{\alpha} \-{\frac{3}{4}}({\frac{x}{\alpha}}-{\frac{x^3}{3\alpha^3}})+{\frac{1}{2}} & -\alpha \le x \le \alpha \0 & x < -{\alpha} \end{cases} \tag{9} \label{eq9} \]函数图如下（ 图中 \(\alpha = 0.1\) ）
\(H(0.001)=1\) 加上误差后 \(H(-0.001)=0\) ，而 \(H_r(-0.001)=0.4925\) ，可以发现正则化后离精确解的准确度明显提高，并且准确度随着 \(\alpha\) 的减小而增加，相应的稳定性却降低了，反之同理。
通过例2可以看出，正则化在某种程度上可以看作是构造另外一个算子，与原算子性质大体一致，却更加稳定，光滑连续。
?为不同的问题选择合适的正则化方法对求解也同样重要，即正则算子 \(\mathbf{R}(\alpha)\) 的选择。这里我只是具体化地阐述了正则化的概念，并没有具体到正则化方法的推导和使用，介绍正则化方法（如经典的Tikhonov正则化）也应该会在另一篇文章里头了吧。
原文：https://www.cnblogs.com/LitBro/p/12735745.html
