函数逼近与曲线拟合

预备知识

内积与范数

内积：$f(x),g(x)\in C[a,b],\rho$ 是 $[a,b]$ 上的权函数，$(f,g)=\int_a^b\rho(x)f(x)g(x)dx$
- 非负函数 $\rho$ 为权函数需满足
  - $\int_a^b|x|^n\rho(x)dx$ 存在（总质量）
  - $\forall g(x)$ 非负，$\int_a^bg(x)\rho(x)dx=0$ 则在 $(a,b)$ 上 $g(x)\equiv0$
- 物理上表示密度函数
- 内积公理
  - $(f,g)=(g,f)$
  - $(cf,g)=c(f,g)$
  - $(f_1+f_2,g)=(f_1,g)+(f_2,g)$
  - $(f,f)\geq 0$ 且 $f=0\iff(f,f)=0$
- 内积空间：$C[a,b]$ 在上述内积下形成内积空间
- 欧式长度：$|f|_2=\sqrt{(f,f)}$
函数范数
- $|f|\infty=\max{a\leq x\leq b}|f(x)|$
- $|f|_2=\sqrt{\int_a^bf^2(x)dx}$
范数性质
- $|(f,g)|_2\leq|f|_2|g|_g$ Cauchy-Schwarz Inequality
- $|f+g|_2\leq|f|_2+|g|_2$ 三角不等式
- $|f+g|_2^2+|f-g|_2^2=2(|f|_2^2+|g|_2^2)$

函数系

线性无关函数系（基函数系）：$\sum_{i}a_i\phi_i(x)=0\iff a_0=\cdots=a_{n-1}=0$ 时才成立
$f,g$ 在 $[a,b]$ 上带权 $\rho(x)$ 正交：$(f,g)=\int_a^b\rho(x)f(x)g(x)dx=0$
正交函数系：函数系 $\varphi_0,\cdots,\varphi_n(x),(\varphi_j,\varphi_k)=\int_a^b\rho(x)\varphi_j(x)\varphi_k(x)dx=A_k[j=k]$
标准正交函数系：$A_k=1$
三角函数系：$1,\cos x,\sin x,\cos 2x,\sin 2x,\cdots$ 是 $[0,2\pi]$ 上关于权函数 $1$ 的正交函数系
$H_n=\text{span}{1,x,\cdots,x^n},[0,1],\rho(x)=1$

函数逼近

Weierstrass 定理
- $f(x)\in C[a,b]$，则 $\forall \epsilon>0$，$\exists$ 代数多项式 $p(x)$ 有 $|f(x)-p(x)|_{\infty}<\epsilon$ 在 $[a,b]$ 上一致成立
函数逼近：在满足一定条件的函数类中确定形式相对简单的函数 $p(x)$ 作为 $f(x)$ 的近似计算
- 一致均匀逼近：$|f(x)-p(x)|{\infty}=\max{a\leq x\leq b}|f(x)-p(x)|$
- 均方平方逼近：$|f(x)-p(x)|2=\sqrt{\int{a}^b[f(x)-p(x)]^2dx}$
最佳平方逼近：用均方误差最小最为度量标准寻找逼近多项式
- $|f(x)-P^(x)|_2=|f^-S^*|2^2=\min{P}|f(x)-P(x)|2=\min{S\in\Phi}\int^b_a\rho[f(x)-S(x)]^2dx$
- 最佳平方逼近函数 $S^*(x)\in\Phi=\text{span}{\phi_0,\cdots}\subset C[a,b]$
- $I(a_0,\cdots,a_n)=|S(x)-f(x)|2^2=\int_a^b[\sum{j=0}^n\phi_j(x)-f(x)]^2dx$ 最小值
  - 偏导为零得：$\sum_{j=0}^n(\phi_k,\phi_j)a_j=(f,\phi_k),k=0,1,\cdots,n$
  - 法方程 $$\begin{bmatrix}(\varphi_0,\varphi_0) & (\varphi_0,\varphi_1) & \cdots & (\varphi_0,\varphi_n)\newline (\varphi_1,\varphi_0) & (\varphi_1,\varphi_1) & \cdots & (\varphi_1,\varphi_n) \newline \cdots & \cdots & \cdots & \cdots\newline (\varphi_n,\varphi_0) & (\varphi_n,\varphi_1) & \cdots & (\varphi_n,\varphi_n)\end{bmatrix}\begin{bmatrix}a_0\newline a_1\newline \vdots\newline a_n \end{bmatrix}=\begin{bmatrix} (f,\varphi_0) \newline (f,\varphi_1) \newline \vdots \newline (f,\varphi_n) \end{bmatrix}$$
  - 线性无关（解唯一）$\iff$ Grammer 行列式 $G_{n-1}\neq 0$，其中 $G_{n-1}(i,j)=(\phi_{i-1},\phi_{j-1})$
  - 误差：$|f|2^2-\sum{k=0}^na_k^*(\phi_k,f)$
最佳平方逼近多项式 $p_n^(x)\in H_n$：$|f-p_n^|2=\sqrt{\int_a^b[f(x)-p_n^*(x)]^2dx}=\inf{p\in H_n}|f-p|_2$
Hilbert 矩阵：$H_{n+1}$ 为 $G_n=G(1,x,\cdots,x^n)$ 对应矩阵，$H_{n+1,i,j}=\frac{1}{i+j+1}$

正交多项式为基的最佳平方逼近

$a_k^*=\frac{(f,\varphi_k)}{(\varphi_k,\varphi_k)},(k=0,1,\cdots,n)$
$s^*(x)=\sum_{i=0}^na_i^*f(x)$

勒让德多项式 (Legendre)

$[-1,1],\rho(x)=1,P_0(x)=1$
$P_n(x)=\frac{1}{2^nn!}\frac{d^n}{dx^n}(x^2-1)^n$
正交性 $\int_{-1}^1P_m(x)P_n(x)dx=\frac{2}{2n+1}[m=n]$
$P_{k+1}(x)=\frac{2k+1}{k+1}x\cdot P_k(x)-\frac{k}{k+1}\cdot P_{k-1}(x),P_0(x)=1,P_1(x)=x$
$P_2(x)=\frac{3x^2-1}{2},P_3(x)=\frac{5x^3-3x}{2},P_4(x)=\frac{35x^4-30x^2+3}{8}$

切比雪夫多项式

$[-1,1],\rho(x)=\frac{1}{\sqrt{1-x^2}}$
$T_n(x)=\cos(n\cdot\arccos x),|x|\leq 1$
$T_{n+1}(x)=2xT_n(x)-T_{n-1}(x),T_0(x)=1,T_1(x)=x$
$T_2(x)=2x^2-1, T_3(x)=4x^3-3x, T_4(x)=8x^4-8x^2+1, T_5(x)=16x^5-20x^3+5x$
$(T_n,T_m)=\frac{\pi}{2}[n=m]+\frac{\pi}{2}[n=m=0]$

区间变换

$[a,b],x=\frac{b-a}{2}t+\frac{b+a}{2},g(t)=f(\frac{b-a}{2}t+\frac{b+a}{2})=f(x)$
求 $g(t)$ 正交最佳平方逼近 $G(t)$
$S(x)=G(\frac{2}{b-a}(x-\frac{b+a}{2}))$

广义 Fourier 级数

$S(x)=\sum_{k=0}^\infty a_kg_k(x),f(x)\sim\sum_{k=0}^\infty a_k g_k(x)$
基函数为 ${g_k(x)}_{k=0}^\infty$

Fourier 级数

正交函数系 ${1,\cos x,\sin x,\cos 2x,\sin 2x,\cdots,\cos nx,\sin nx}$
$S_n(x)=\frac{a_0}{2}+\sum_{k=1}^n(a_k\cos kx+b_k\sin kx)$

最小二乘法作曲线拟合

通过数据 $(x_k,y_k),k=0,1,\cdots,m$ 求 $y=S(x)$
$\Phi={\sum_{i=0}^na_i\varphi_i}$，求 $S^*(x)\in\Phi$ 使与 $y_i$ 误差平方和最小
$|\delta|2^2=\sum{i=0}^m\omega(x_i)[S^*(x_i)-y_i]^2$
$S(x)=\sum_{i=0}^na_0\varphi_0(x)$
$(\phi_j,\phi_k)=\sum_{i=0}^m\omega(x_i)\varphi_j(x_i)\varphi_k(x_i)$
法方程 $\sum_{j=0}^na_j(\varphi_j,\varphi_k)=(y,\varphi_k),k=0,\cdots,n$
- 唯一解
- $Ga=d$
曲线拟合的一般步骤
- 根据数据点描图，根据图形分布，选择模型，确定基函数
- 建立法方程组，并求解
- 得到数学模型，计算误差