设\(V\)是实数域\(R\)上的一线性空间，在\(V\)上定义了一个二元函数，称为内积，记作\((\alpha,\beta)\)，它具有以下性质：
在这里\(\alpha,\beta,\gamma\)是\(V\)中任意的向量，\(k\)是任意的实数，这样的线性空间称欧几里得空间或简称为欧氏空间
线性空间\(R^n\)，对于向量\(\alpha=(a_1,a,\cdots,a_n),\beta=(b_1,b_2,\cdots,b_n)\)，
定义内积 \((\alpha,\beta)=a_1b_1+a_2b_2+\cdots+a_nb_n\)
定义
非负实数\(\sqrt{(\alpha,\alpha)}\)称为向量\(\alpha\)的长度，记作\(|\alpha|\)。
\(|k\alpha|=\sqrt{(k\alpha,k\alpha)}= \sqrt{k^2(\alpha,\alpha)}=|k||\alpha|\)
长度为1的向量称为单位向量
用向量\(\alpha\)的长度去除向量\(\alpha\)，得到一个与\(\alpha\)成比例的单位向量，通常称把\(\alpha\)单位化。
\(\frac{1}{|\alpha|}\alpha\)
柯西—布涅柯夫斯基不等式
对任意的向量\(\alpha、\beta\)有
当且仅当\(\alpha,\beta\)线性相关时，等号成立。
定义 夹角
非零向量\(\alpha,\beta\)的夹角定义为
\(<\alpha,\beta>=arccos\frac{(\alpha,\beta)}{|\alpha||\beta|},0\leq \ <\alpha,\beta> \ \leq \pi\)
定义 垂直 正交
如果向量\(\alpha,\beta\)的内积为零，即 \((\alpha,\beta)=0\)，
那么\(\alpha,\beta\)称为正交或互相垂直，记作\(\alpha \perp \beta\)
勾股定理
当向量\(\alpha,\beta\)正交时 \(|\alpha+\beta|^2=|\alpha|^2+|\beta|^2\)
当向量\(\alpha_1,\alpha_2,\cdots,\alpha_m\)两两正交时 \(|\alpha_1+\alpha_2+\cdots+\alpha_m|^2=|\alpha_1|^2+|\alpha_2|^2+\cdots+|\alpha_m|^2\)
设\(V\)是一个\(n\)维欧几里得空间，在\(V\)中取一组基\(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\)，对\(V\)中任意两个向量
\(\alpha=x_1\varepsilon_1+x_2\varepsilon_2+\cdots+x_n\varepsilon_n \\\beta=y_1\varepsilon_1+y_2\varepsilon_2+\cdots+y_n\varepsilon_n\)
根据乘积的性质得
令 \(a_{ij}=(\varepsilon_i,\varepsilon_j) \ \ (i,j=1,2,\cdots,n) \\a_{ij=a_{ji}}\)
于是
\(X,Y\)分别是\(\alpha,\beta\)的坐标，而矩阵\(A=(a_{ij})_{nn}\)称为基\(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\)的度量矩阵。
定义 正交向量组
欧氏空间\(V\)中一组非零的向量，如果它们两两正交，就称为正交向量组。
正交向量组是线性无关的。
定义 标准正交基
在\(n\)维欧氏空间中，由\(n\)个向量组组成的正交向量组称为正交基
由单位向量组成的正交基称为标准正交基。
一组基为标准正交基的充分必要条件是：它的度量矩阵为单位矩阵
在\(n\)维欧式空间中，标准正交基是存在的。
在标准正交基下，向量的坐标可以通过内积简单地表示出来
在标准正交基下，内积具有简单的形式
从任意非零向量出发，逐个扩充，得到正交基；再单位化得到标准正交基。
定理
\(n\)维欧式空间中的任一个正交向量组都能扩充为一组正交基。
设\(\alpha_1,\alpha_2,\cdots,\alpha_m\)是一正交向量组
因为\(m <n\)一定还有向量\(\beta\)不能被\(\alpha_1,\alpha_2,\cdots,\alpha_m\)线性表出
做向量\(\alpha_m=\beta-k_1\alpha_1-k_2\alpha_2-\cdots-k_m\alpha_m\)，这里\(k_1,\cdots,k_m\)是待定系数。
用\(\alpha_i\)与\(\alpha_{m+1}\)作内积，得\((\alpha_i,\alpha_{m+1})=(\beta,\alpha_i)-k_i(\alpha_i,\alpha_i)(i=1,2,\cdots,m)\)
取\(k_i=\frac{(\beta,\alpha_i)}{(\alpha_i,\alpha_i)} (i=1,2,\cdots,m)\)
有\((\alpha_i，\alpha_{m+1})=0(i=1,2,\cdots,m)\)
由\(\beta\)的选择可知\(\alpha_{m+1}\neq 0\)
因此\(\alpha_1,\alpha_2,\cdots,\alpha_m,\alpha_{m+1}\)是一正交向量组。
把一组线性无关的向量变成一单位正交向量组
对于\(n\)维欧氏空间中任意一组基\(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\)，都可以找到一组标准正交基\(\eta_1,\eta_2,\cdots,\eta_n\)，使
\(L(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_i)=L(\eta_1,\eta_2,\cdots,\eta_i),i=1,2,\cdots,n\)
\(L(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_i)=L(\eta_1,\eta_2,\cdots,\eta_i),i=1,2,\cdots,n\)就相当于由基\(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\)到基\(\eta_1,\eta_2,\cdots,\eta_n\)的过渡矩阵是上三角形的。
例
矩阵\(A\)的各列就是\(\eta_1,\eta_2,\cdots,\eta_n\)在标准正交基\(\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\)下的坐标，按着公式(5),公式(6)可以写成
定义 正交矩阵
\(n\)级实数矩阵\(A\)称为正交矩阵，如果\(A‘A=E\)
由标准正交基到标准正交基的过渡矩阵是正交矩阵；
反过来，如果第一组基是标准正交基，同时过渡矩阵是正交矩阵，那么第二组基也一定是标准正交基。
定义
实数域\(R\)上欧氏空间\(V\)与\(V‘\)称为同构的，如果由\(V\)到\(V‘\)有一个双射\(\sigma\)，满足
这里\(\alpha ,\beta \in V,k\in R\)
这样的映射称为从\(V\)到\(V‘\)的同构映射。
从定义可以看出，如果\(\sigma\)是欧式空间\(V\)到\(V‘\)的一个同构映射，那么\(\sigma\)也是\(V\)到\(V‘\)的在线性空间上的同构映射。
同构的欧式空间有相同的维数
每一个\(n\)维的欧氏空间都与\(R^n\)同构
同构作为欧氏空间之间的关系具有反身性，对称性，传递性。
任意两个\(n\)维欧式空间都同构。
定理
两个有限维欧氏空间同构的充分必要条件是它们的维数相同。
定义 正交变换
设欧氏空间\(V\)的线性变换\(\mathscr{A}\)称为正交变换，如果它保持向量的内积不变，即对于任意的\(\alpha,\beta \in V\)，都有
\((\mathscr{A}\alpha,\mathscr{A}\beta)=(\alpha,\beta)\)
定理
设\(\mathscr{A}\)是\(n\)维欧氏空间\(V\)的一个线性变换，于是下面四个命题是相互等价的
因为正交矩阵是可逆的，所以正交变换是可逆的
在标准正交基下，正交变换和正交矩阵相对应，所以正交矩阵乘积与正交矩阵的逆还是正交矩阵。
第一类与 第二类
如果\(A\)是正交矩阵，那么由\(AA‘=E\)，可知\(|A|^2=1或|A|=\pm1\)
定义 正交的子空间
设\(V_1,V_2\)是欧氏空间\(V\)中两个子空间，如果对于任意的\(\alpha \in V_1,\beta \in V_2\)，恒有
? \((\alpha,\beta)=0\)
则称\(V_1,V_2\)是正交的，记为\(V_1 \perp V_2\)
一个向量\(\alpha\)，如果对于任意的\(\beta \in V_1\)，恒有
? \((\alpha,\beta)=0\)
则称\(\alpha\)与子空间正交，记为\(\alpha \perp V_1\)
定理
如果子空间\(V_1,V_2,\cdots,V_s\)两两正交，那么和\(V_1+V_2+\cdots+V_s\)是直和。
定义 正交补
子空间\(V_2\)称为子空间\(V_2\)称为子空间\(V_1\)的一个正交补，如果\(V_1 \perp V_2\)并且\(V_1+V_2=V\)
定理
\(n\)维欧式空间的每一个子空间都有唯一的正交补。
推论： \(V_1^{\perp}\)恰由所有与\(V_1\)正交的向量组成
内射影
由分解式\(V=V_1 \oplus V_1^{\perp}\)可知
\(V\)中任一向量\(\alpha\)都可以唯一分解成\(\alpha=\alpha_1+\alpha_2,\alpha_1\in V_1,\alpha_2 \in V_1^{\perp}\)
我们称\(\alpha_1\)为向量\(\alpha\)在子空间\(V_1\)上的内射影
任意一个对称矩阵都合同于一个对角矩阵
即存在一个可逆矩阵\(C\)使\(C‘AC\)成对角形
现在利用欧式空间的理论，对于实对称矩阵的结构进行加强
对应于实对称矩阵\(A\)，在\(n\)维欧式空间\(R^n\)中定义一个线性变换\(\mathscr{A}\)如下
显然\(\mathscr{A}\)在标准正交基
下的矩阵就是\(A\)
引理2
设\(A\)是实对称矩阵，\(\mathscr{A}\)定义如上，
则对任意\(\alpha ,\beta \in R^n\)有
定义 对称变换
欧式空间中满足等式(10)的线性变换称为对称变换。
引理3
设\(\mathscr{A}\)是对称变换，\(V_1\)是\(\mathscr{A}-\)子空间，则\(V_1^{\perp}\)也是\(\mathscr{A}-\)子空间。
引理4
设\(A\)是实对称矩阵，则\(R^n\)中属于\(A\)的不同特征值的特征向量必正交。
定理
对于任意一个\(n\)级实对称矩阵\(A\)，都存在一个\(n\)级正交矩阵\(T\)，使\(T‘AT=T^{-1}AT\)成对角形。
正交矩阵T的求法
求出\(A\)的特征值，设\(\lambda_1,\lambda_2,\cdots,\lambda_r\)就是\(A\)的全部不同的特征值。
对于每个\(\lambda_i\)，解齐次线性方程组
求出一个基础解系，这就是\(A\)的特征子空间\(V_{\lambda_i}\)的一组基。
由这组基出发，求出一组标准正交基
正交矩阵\(T\)就由特征向量组成
定理
任意一个实二次型 \(\sum_{i=1}^n \sum_{j=1}^na_{ij}x_ix_j,a_{ij}=a_{ji}\)
都可以经过正交的线性替换变为平方和\(\lambda_1y_1^2+\lambda_2y_2^2+\cdots+\lambda_ny_n^2\)，其中平方项的系数\(\lambda_1,\lambda_2,\cdots,\lambda_n\)就是矩阵\(A\)的特征多项式全部的根
定义 距离
长度\(|\alpha -\beta|\)称为向量\(\alpha\)和\(\beta\)的距离，记为\(d(\alpha,\beta)\)
距离的三条基本性质：
最小二乘法问题
线性方程组
可能无解。
即任何一组数\(x_1,x_2,\cdots,x_n\)都可能使
不等于零。
我们设法找\(x_1^0,x_2^0,\cdots,x_s^0\)使\((13)\)最小，这样的\(x_1^0,x_2^0,\cdots,x_s^0\)称为方程组的最小二乘解。
原文：https://www.cnblogs.com/zuti666/p/13604794.html