思维导图
绪论
算法的性质：
有穷性、确切性、有输入输出、可行性
算法的描述方法：
自然语言、伪代码、流程图、N-S流程图
算法设计思想：
- 化大为小的缩减技术：二分法
- 化难为易的校正技术：开方法
- 化粗为精的松弛技术：加权平均 超松弛 割圆术
误差来源：
- 模型/描述误差
- 观测误差
- 舍入如茶
- 初值误差
计算方法只研究后两类误差
误差的度量：
绝对误差 e ( x ∗ ) = x − x ∗ e(x^*)=x-x^* e(x∗)=x−x∗
绝对误差限 ∣ e ( x ∗ ) ∣ = ∣ x − x ∗ ∣ < ε |e(x^*)|=|x-x^*|<\varepsilon ∣e(x∗)∣=∣x−x∗∣<ε
相对误差 e r ( x ∗ ) = e ( x ∗ ) / x ≈ e ( x x ) / x ∗ e_r(x^*)=e(x^*)/x\approx e(x^x)/x^* er(x∗)=e(x∗)/x≈e(xx)/x∗
相对误差限
有效数字：
x ∗ = 1 0 m ∗ x 1 x 2 x 3 . . . . x p x^*=10^m *x_1x_2x_3....x_p x∗=10m∗x1x2x3....xp
∣ e ∣ < = 0.5 ∗ 1 0 m − n |e|<=0.5*10^{m-n} ∣e∣<=0.5∗10m−n，则具有n位有效数字
x ∗ x^* x∗准确到末位时，称有效数
选择算法原则：
- 避免相近的数相减
- 避免很小的数作分母
- 避免大数淹没小数
- 选用稳定性好的算法
插值
用多项式替代真实函数，该多项式存在且唯一（克莱姆法则证明）
拉格朗日插值
L n ( x ) = ∑ i = 0 n φ i ( x ) y i = ∑ i = 0 n ( ∏ j = 0 , j ! = i n x − x j x i − x j ) y i L_n(x)=\sum_{i=0}^n\varphi _i(x)y_i=\sum_{i=0}^n( {\textstyle \prod_{j=0,j!=i}^{n}\frac{x-x_j}{x_i-x_j} } )y_i Ln(x)=∑i=0nφi(x)yi=∑i=0n(∏j=0,j!=inxi−xjx−xj)yi
其中， φ ( x ) \varphi(x) φ(x)是插值基函数
本质上拉格朗日插值函数是加权和
特点：
- 插值点需要等距
- 新点进入需要重新计算基函数
- 高次插值的精度不一定高，可能产生龙格现象
牛顿插值
差商：
零阶差商： f ( x i ) = y i f(x_i)=y_i f(xi)=yi
一阶差商： f ( x i , x j ) = f ( x j ) − f ( x i ) x j − x i f(x_i,x_j)=\frac{f(x_j)-f(x_i)}{x_j-x_i} f(xi,xj)=xj−xif(xj)−f(xi)
二阶差商： f ( x i , x j , x k ) = f ( x j , x k ) − f ( x i , x j ) x k − x i f(x_i,x_j,x_k)=\frac{f(x_j,x_k)-f(x_i,x_j)}{x_k-x_i} f(xi,xj,xk)=xk−xif(xj,xk)−f(xi,xj)
可用表格法计算差商，对角线上的是系数
牛顿插值多项式：
p n ( x ) = f ( x 0 ) + f ( x 0 , x 1 ) ( x − x 0 ) + . . . + f ( x 0 , x 1 , . . . , x n ) ( x − x 0 ) ( x − x 1 ) . . . ( x − x n − 1 ) p_n(x)=f(x_0)+f(x_0,x_1)(x-x_0)+...+f(x_0,x_1,...,x_n)(x-x_0)(x-x_1)...(x-x_{n-1}) pn(x)=f(x0)+f(x0,x1)(x−x0)+...+f(x0,x1,...,xn)(x−x0)(x−x1)...(x−xn−1)
特点：
- 和拉格朗日插值结果一致
- 不需要重新计算基函数
- 不需要插值点等距
埃米尔特Hermite插值（切触插值）
两点三次插值：
p 3 ( x ) = y 0 φ 0 ( x ) + y 1 φ 1 ( x ) + y 0 ′ ψ 0 ( x ) + y 1 ′ ψ 1 ( x ) p_3(x)=y_0\varphi_0(x)+y_1\varphi_1(x)+y_0'\psi _0(x)+y_1'\psi _1(x) p3(x)=y0φ0(x)+y1φ1(x)+y0′ψ0(x)+y1′ψ1(x)
其中 φ 0 ( x ) = ( 1 + 2 x − x 0 x 1 − x 0 ) ( x − x 1 x 0 − x 1 ) 2 \varphi_0(x)=(1+2\frac{x-x_0}{x_1-x_0} )(\frac{x-x_1}{x_0-x_1} )^2 φ0(x)=(1+2x1−x0x−x0)(x0−x1x−x1)2
φ 1 ( x ) = ( 1 + 2 x − x 1 x 0 − x 1 ) ( x − x 0 x 1 − x 0 ) 2 \varphi_1(x)=(1+2\frac{x-x_1}{x_0-x_1} )(\frac{x-x_0}{x_1-x_0} )^2 φ1(x)=(1+2x0−x1x−x1)(x1−x0x−x0)2
ψ 0 ( x ) = ( x − x 0 ) ( x − x 0 x 0 − x 1 ) 2 \psi_0(x)=(x-x_0)(\frac{x-x_0}{x_0-x_1} )^2 ψ0(x)=(x−x0)(x0−x1x−x0)2
ψ 1 ( x ) = ( x − x 1 ) ( x − x 0 x 1 − x 0 ) 2 \psi_1(x)=(x-x_1)(\frac{x-x_0}{x_1-x_0} )^2 ψ1(x)=(x−x1)(x1−x0x−x0)2
特点：
- 具有导数值
分段插值
大一统的方法，在段内，想用哪种插就用哪种插！
数值积分
正统方法是牛顿-莱布尼茨公式，但是我们又算不出来，不想算，咋办呢
代数精度
一个公式，对于不超过m次的任意多项式都准确，但对m+1次有不准确的，那么具有m阶代数精度。
简化一下，用1，x， x 2 x^2 x2往里带就行
机械求积
∫ a b f ( x ) d x = ( b − a ) ∑ i = 0 n λ i f ( x i ) \int_{a}^{b} f(x)dx=(b-a)\sum_{i=0}^n\lambda_if(x_i) ∫abf(x)dx=(b−a)∑i=0nλif(xi) 加权和
梯形求积公式
∫ a b f ( x ) d x = ( b − a ) / 2 ( f ( a ) + f ( b ) ) \int_{a}^{b} f(x)dx=(b-a)/2 (f(a)+f(b)) ∫abf(x)dx=(b−a)/2(f(a)+f(b))
牛顿-科特斯公式
将求积区间[a,b]划分为n等分，用等分点构造拉格朗日插值，用L(x)代替f(x)
| n | 求积系数1 | 求积系数2 | 求积系数3 | 求积系数4 | 求积系数5 |
|---|---|---|---|---|---|
| 1 | 1/2 | 1/2 | |||
| 2 | 1/6 | 4/6 | 1/6 | ||
| 3 | 1/8 | 3/8 | 3/8 | 1/8 | |
| 4 | 7/90 | 16/45 | 2/15 | 16/45 | 7/90 |
其中n=1为梯形求积公式，n=2为辛普森公式，n=4为科特四公式
奇数的代数精度和前一个偶数一样，所以正常人没人用奇数的
代数精度分别为1，3，3，5
复化求积公式
跟分段插值一样
复化梯形： I = b − a 2 n ( f ( a ) + 2 ∑ i = 1 n − 1 f ( x i ) + f ( b ) ) I=\frac{b-a}{2n}(f(a)+2 {\textstyle \sum_{i=1}^{n-1}}f(x_i)+f(b)) I=2nb−a(f(a)+2∑i=1n−1f(xi)+f(b))
复化辛普森公式： I = b − a 6 n ( f ( a ) + 4 ∑ i = 0 n − 1 f ( x i + 1 / 2 ) + 2 ∑ i = 1 n − 1 f ( x i ) + f ( b ) ) I=\frac{b-a}{6n}(f(a)+4 {\textstyle \sum_{i=0}^{n-1}}f(x_{i+1/2})+2{\textstyle \sum_{i=1}^{n-1}f(x_i)}+f(b)) I=6nb−a(f(a)+4∑i=0n−1f(xi+1/2)+2∑i=1n−1f(xi)+f(b))
复化柯特斯公式： I = b − a 90 n ( f ( a ) + 32 ∑ i = 0 n − 1 f ( x i + 1 / 4 ) + 12 ∑ i = 0 n − 1 f ( x i + 1 / 2 ) + 32 ∑ i = 0 n − 1 f ( x i + 3 / 4 ) + 14 ∑ i = 1 n − 1 f ( x i ) + 7 f ( b ) ) I=\frac{b-a}{90n}(f(a)+32 {\textstyle \sum_{i=0}^{n-1}}f(x_{i+1/4})+12 {\textstyle \sum_{i=0}^{n-1}}f(x_{i+1/2})+32 {\textstyle \sum_{i=0}^{n-1}}f(x_{i+3/4})+14 {\textstyle \sum_{i=1}^{n-1}}f(x_{i})+7f(b)) I=90nb−a(f(a)+32∑i=0n−1f(xi+1/4)+12∑i=0n−1f(xi+1/2)+32∑i=0n−1f(xi+3/4)+14∑i=1n−1f(xi)+7f(b))
龙贝格算法(kao)?
T 1 = ( b − a ) / 2 ( f ( a ) + f ( b ) ) T_1=(b-a)/2 (f(a)+f(b)) T1=(b−a)/2(f(a)+f(b)) 一个梯形
T 2 n = 1 / 2 T 1 + 2 / h ∑ i = 0 n − 1 f ( x i + 1 / 2 ) T_{2n}=1/2 \ T_1+2/h\ {\textstyle \sum_{i=0}^{n-1}}f(x_{i+1/2}) T2n=1/2 T1+2/h ∑i=0n−1f(xi+1/2)
S n = 4 / 3 T 2 n − 1 / 3 T n S_n=4/3\ T_{2n}-1/3 \ T_n Sn=4/3 T2n−1/3 Tn
C n = 16 / 15 S 2 n − 1 / 15 S n C_n=16/15\ S_{2n}-1/15 \ S_n Cn=16/15 S2n−1/15 Sn
R n = 64 / 63 C 2 n − 1 / 63 C n R_n=64/63\ C_{2n}-1/63 \ C_n Rn=64/63 C2n−1/63 Cn
高斯公式
求积节点不是等分，而是一些特殊点
∫ a b f ( x ) d x = b − a 2 ∫ − 1 1 g ( t ) d t \int_{a}^{b}f(x)dx=\frac{b-a}{2}\int_{-1}^{1}g(t)dt ∫abf(x)dx=2b−a∫−11g(t)dt，见资料积分区间转换
一点： ∫ − 1 1 f ( x ) d x ≈ 2 f ( 0 ) \int_{-1}^{1}f(x)dx\approx 2f(0) ∫−11f(x)dx≈2f(0)
两点： ∫ − 1 1 f ( x ) d x ≈ f ( − 1 3 ) + f ( 1 3 ) \int_{-1}^{1}f(x)dx\approx f(-\frac{1}{\sqrt{3} } )+f(\frac{1}{\sqrt{3} }) ∫−11f(x)dx≈f(−31)+f(31)
三点： ∫ − 1 1 f ( x ) d x ≈ 5 9 f ( − 3 5 ) + 8 9 f ( 0 ) + 5 9 f ( 3 5 ) \int_{-1}^{1}f(x)dx\approx \frac{5}{9 }f(-\sqrt\frac{3}{{5} } )+\frac{8}{9} f(0)+\frac{5}{9} f(\sqrt{\frac{3}{5} } ) ∫−11f(x)dx≈95f(−53)+98f(0)+95f(53)
一般积分区间的高斯公式
方程求根的迭代法
x k + 1 = φ ( x k ) x_{k+1}=\varphi(x_k) xk+1=φ(xk)
导数的绝对值<=1时，收敛
开方算法
x 0 > 0 x_0>0 x0>0
x k + 1 = 1 2 ( x k + a x k ) x_{k+1}=\frac{1}{2}(x_k+\frac{a}{x_k}) xk+1=21(xk+xka)
牛顿法（重点）
泰勒展开前两项，得到 x k + 1 = x k − f ( x k ) f ′ ( x k ) x_{k+1}=x_k-\frac{f(x_k)}{f'(x_k)} xk+1=xk−f′(xk)f(xk)
使用条件：
- 介值定理
- f’(x)!=0
- f’'(x)存在且不变号
- x0选点必须使得f’'(x)f(x0)>0
如此才能收敛
收敛速度
e k + 1 e k p \frac{e_{k+1}}{e_k^p} ekpek+1->C 则迭代过程是p阶收敛的
牛顿法为平方收敛
牛顿下山法
要求|函数值|单调下降
得到 x k + 1 = x k − λ f ( x k ) f ′ ( x k ) x_{k+1}=x_k-\lambda \frac{f(x_k)}{f'(x_k)} xk+1=xk−λf′(xk)f(xk)
0 < λ < 1 0<\lambda<1 0<λ<1，称下山因子，逐步探索下山因子，从1开始，如果有一步始终找不到，则重选初值
（单点）弦截法
令 f ′ ( x k ) ≈ f ( x k ) − f ( x 0 ) x k − x 0 f'(x_k)\approx \frac{f(x_k)-f(x_0)}{x_k-x_0} f′(xk)≈xk−x0f(xk)−f(x0)，用割线代替切线
快速/两点 弦截法
需要两个初值x0和x1
埃特金迭代公式
x k + 1 ˉ = φ ( x k ) \bar{x_{k+1}}=\varphi (x_k) xk+1ˉ=φ(xk) 牛顿一次
x k + 1 ~ = φ ( x k + 1 ˉ ) \tilde{x_{k+1}}=\varphi (\bar{x_{k+1}} ) xk+1~=φ(xk+1ˉ) 再牛顿一次
x k + 1 = x k + 1 ~ − ( x k + 1 ~ − x k + 1 ˉ ) 2 x k + 1 ~ − 2 x k + 1 ˉ + x k x_{k+1}=\tilde{x_{k+1}}-\frac{(\tilde{x_{k+1}}-\bar{x_{k+1}})^2}{\tilde{x_{k+1}}-2\bar{x_{k+1}}+x_k} xk+1=xk+1~−xk+1~−2xk+1ˉ+xk(xk+1~−xk+1ˉ)2 奇怪的加权！
线性方程组的迭代法
Jacobi
x k + 1 = − D − 1 ( L + U ) x + D − 1 b x_{k+1}=-D^{-1}(L+U)x+D^{-1}b xk+1=−D−1(L+U)x+D−1b
移过去，用xk算
Gauss-Seidel
x k + 1 = − ( D + L ) − 1 U x + ( D + L ) − 1 b x_{k+1}=-(D+L)^{-1}Ux+(D+L)^{-1}b xk+1=−(D+L)−1Ux+(D+L)−1b
移过去，用 x k + 1 x_{k+1} xk+1算
收敛判断
Jacobi迭代法和Gauss-Seidel迭代法的收敛性
范数
向量的1范数=x绝对值之和
2范数=欧氏距离
无穷范数=绝对值的最大值
矩阵的1范数是列范数，对每列的绝对值求和，找个最大的列
2范数是谱范数 ∣ ∣ A ∣ ∣ 2 = λ m a x ( A T A ) ||A||_2=\sqrt{\lambda_{max}(A^TA)} ∣∣A∣∣2=λmax(ATA)
无穷范数是行范数，也许因为它是横着的吧(?
谱半径：A绝对值最大的特征值
对任意矩阵范数，谱半径都<=范数，所以范数要是<1，迭代法是不是就必然收敛了呢~
线性方程组的直接法
高斯消元法
化成上下三角形，这也要说？
列主元消元法
换行再消元
矩阵分解法
可以分解为LU 一个下三角和一个上三角的乘积，其中一个是单位的
- Doolittle分解法
先横着算u，再竖着算l - crout分解法
先竖着算l，再横着算u
有公式但是记不住，现推吧
- 平方根法分解 A= L L T LL^T LLT 有公式
- Cholesky分解 正定矩阵分解为 A = L D L T A=LDL^T A=LDLT代价<平方根
- 追赶法 三对角矩阵适用 消元+回代
常微分方程的差分法
欧拉格式
向前的 y ( x n + 1 ) ≈ y ( x n ) + h f ( x n , y ( x n ) ) y(x_{n+1})\approx y(x_n)+hf(x_n,y(x_n)) y(xn+1)≈y(xn)+hf(xn,y(xn))
向后的（隐式） y ( x n + 1 ) ≈ y ( x n ) + h f ( x n + 1 , y ( x n + 1 ) ) y(x_{n+1})\approx y(x_n)+hf(x_{n+1},y(x_{n+1})) y(xn+1)≈y(xn)+hf(xn+1,y(xn+1))
两步 y ( x n + 1 ) ≈ y n − 1 + 2 h f ( x n , y ( x n ) ) y(x_{n+1})\approx y_{n-1}+2hf(x_{n},y(x_{n})) y(xn+1)≈yn−1+2hf(xn,y(xn)) 无法直接启动
梯形格式 y ( x n + 1 ) ≈ h 2 ( f ( x n , y ( x n ) ) + f ( x n + 1 , y ( x n + 1 ) ) y(x_{n+1})\approx \frac{h}{2}(f(x_{n},y(x_{n}))+f(x_{n+1},y(x_{n+1})) y(xn+1)≈2h(f(xn,y(xn))+f(xn+1,y(xn+1))这也是隐式的，也没法用（二阶）
改进的欧拉格式
二阶代数精度
先预报，再校正
预报值 y ( x n + 1 ) ˉ = y ( x n ) + h f ( x n , y ( x n ) ) \bar{y(x_{n+1})}= y(x_n)+hf(x_n,y(x_n)) y(xn+1)ˉ=y(xn)+hf(xn,y(xn))
校正值 y ( x n + 1 ) ≈ y ( x n ) + h 2 ( f ( x n , y ( x n ) ) + f ( x n + 1 y ( x n + 1 ) ˉ ) y(x_{n+1})\approx y(x_n)+\frac{h}{2}(f(x_{n},y(x_{n}))+f(x_{n+1}\bar{y(x_{n+1})}) y(xn+1)≈y(xn)+2h(f(xn,y(xn))+f(xn+1y(xn+1)ˉ)
可以简化表示为：
