《上海交通大學(xué)計(jì)算方法課件(宋寶瑞)CH.5》由會(huì)員分享，可在線閱讀，更多相關(guān)《上海交通大學(xué)計(jì)算方法課件(宋寶瑞)CH.5（48頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1第六章 函數(shù)的最優(yōu)逼近與擬合§1 線性賦范空間中的逼近問題1.1 函數(shù)逼近與函數(shù)空間逼近的思想和方法滲透于幾乎所有的學(xué)科，其中包括自然科學(xué)和人文科學(xué)中的學(xué)科。逼近論既是一門研究函數(shù)的各類逼近性質(zhì)的學(xué)科，屬于函數(shù)論的范疇，同時(shí)又是計(jì)算數(shù)學(xué)和科學(xué)工程計(jì)算諸多數(shù)值方法的理論基礎(chǔ)和方法的依據(jù)。本章討論科學(xué)計(jì)算中基于逼近論的一些函數(shù)逼近方法。函數(shù)逼近方法與函數(shù)插值方法相類似，它也是在某一函數(shù)類中求函數(shù)，使它與被逼近函數(shù)之間滿足一定的近似條件。在插值方法中，這個(gè)近似條件是在插值結(jié)點(diǎn)上使插值函數(shù)與被插值函數(shù)的函數(shù)值對(duì)應(yīng)相等（包括各階導(dǎo)數(shù)值對(duì)應(yīng)相等） ；在逼近方法中，這個(gè)近似條件用逼近函數(shù)與被逼近函數(shù)之間的某種距離來表達(dá)。數(shù)學(xué)上常在各種集合中引入某些確定關(guān)系，稱為賦予集合以某種空間結(jié)構(gòu)，并將這樣的集合稱為空間。例如，在線性代數(shù)中將所有實(shí) n 維向量組成的集合，按向量加法及向量與數(shù)的乘法構(gòu)成實(shí)數(shù)域上的線性空間，記作 ，稱為 n 維向量空間。類似地，對(duì)次數(shù)不超過 n（n 為正整數(shù)）的實(shí)R系數(shù)多項(xiàng)式全體，按通常多項(xiàng)式加法及數(shù)與函數(shù)乘法構(gòu)成數(shù)域 R 上的線性空間，用 表示，稱為多項(xiàng)式空間，又如所有定義在區(qū)間上的連續(xù)函數(shù)集nP合，按函數(shù)加法和數(shù)與函數(shù)乘法構(gòu)成 R 上的線性空間，記作 ，稱為],[baC連續(xù)函數(shù)空間。定義 1.1 設(shè)集合 S 是數(shù)域 P 上的線性空間， 如果存在Sxn?,1?2不全為零的數(shù) 使得Pan?,1?（1.1）02??nxax?則稱 是線性相關(guān)的；若（1.1）式只對(duì) 成立，nx,1? 021?na?則稱是線性無關(guān)的。如果 S 包含一個(gè)由 n 個(gè)元素組成的極大線性無關(guān)組，則稱 S 是 n 維的，如果對(duì)任意自然數(shù) N， S 中存在 N 個(gè)線性無關(guān)的元素，則稱 S 是無窮維的。顯然 是無窮維的，但對(duì)于 和 ＞0， 可以],[baC()[,]fxCab???)(xf用有限維空間 中的元素 逼近，使誤差 ，這就nP)(xp???)(mpf是著名的 Weierstrass 逼近定理。定理 1.1 設(shè) ，則 ＞0， ，使得],[)(baf???)(xnP＜)(xpfn?在 上一致成立。],[ba此定理可在數(shù)學(xué)分析書中找到證明。1912 年 Bernstein 構(gòu)造了一個(gè)多項(xiàng)式（1.2）knknkn xfxfB?????????)1()();(0并證明 在 上一致成立，若 在 上 mlimn??],[)(xf]1,0[階可導(dǎo)，則還有 。這也就從理論上給出定理 1.1)();()xfmn的構(gòu)造性證明。 稱為 f 的 n 次 Bernstein 多項(xiàng)式。但由于xfB收斂于 很慢，因此實(shí)際計(jì)算的近似值時(shí)，很少用這種方法。);(xfn)(3連續(xù)函數(shù) 還可用其他函數(shù)集合逼近。一般地，可用一組在)(xf上線性無關(guān)的函數(shù)集合 的線性組合來逼近 ，],[baC??niix0)(??],[)(baCxf?即用 01()span{(),,}??????? [,]Cab?（1.3）)(xn???逼近 。于是函數(shù)逼近問題就是對(duì) ，在線性子空間)(f [,]fx??中找某一元素 ,使 在某種意義下最小。換句話說，)()(f??也就是找一組系數(shù) ，使（1.3）式中的 成為 在}{10na? )(x)(f中的最佳逼近元。?1.2 賦范線性空間中的最佳逼近既然是在線性子空間 中尋找某一函數(shù)的逼近，必須引入一個(gè)度量的?概念來衡量逼近的好壞，即衡量誤差 的大小。這對(duì)于不僅要|()|fxp?計(jì)算函數(shù)在個(gè)別點(diǎn)上的值，而且要考慮函數(shù)在區(qū)間上的整體性質(zhì)時(shí)，特別有意義。定義 1.2 設(shè) 為線性空間，如果對(duì)每一向量 ，都有一實(shí)數(shù)與?x??之對(duì)應(yīng)，把這一實(shí)數(shù)記為 ，并且這一對(duì)應(yīng)具有下列性質(zhì)|x1） ，等號(hào)成立當(dāng)且僅當(dāng) ， （ 的零向量）－正性|0x?0?2） ，－正齊性|*|??3） .－三角不等式| |yy??則稱 為 x 的范數(shù)，一個(gè)線性空間，如果其中定義了滿足上述三條公理的范數(shù)，我們稱之為賦范線性空間，記為{X； }.?注：范數(shù)的概念是很廣泛的，只要滿足上述 3 條，都可作為范數(shù)。以4前我們引入的向量和矩陣的范數(shù)都是相應(yīng)空間的范數(shù)。同一線性空間可以賦予不同的范數(shù)。定義 1.3 設(shè) 為賦范線性空間，其范數(shù)為 ，若序列 ，K?0{}nK???，使f?0lim????fn?則稱序列 依范數(shù) 收斂于 f，記作 . ?0}{n??|linf??A現(xiàn)在運(yùn)用賦范線性空間的概念來講解函數(shù)的逼近問題。逼近論的兩個(gè)基本問題1o 給定賦范線性空間 ，以及 的一個(gè)真子空間 。對(duì)于 如K?fK??果在 中存在這樣的元素 使得對(duì)所有的 有?*SS?*ff??成立，則 稱為 f 在范數(shù) 意義下在 中的最佳逼近元。立即就會(huì)出現(xiàn)*S|?這樣的問題：（1）最佳逼近元是否存在？是否唯一？（2）當(dāng)最佳逼近元唯一存在時(shí)，如何構(gòu)造最佳逼近元。2o 設(shè)有 的一系列子空間 ，若對(duì)每一K12nK???? ?個(gè)子空間 ，問題 1o 中的最佳逼近元 存在，是否有 ，以及j?*jS*limnSf???收斂的速度。我將對(duì)于不同的范數(shù)定義，逐一研究這些問題?！? 最佳一致逼近給出線性空間 ，取其范數(shù)和子空間為],[baC5， （2.1）)(maxffb??{1,}nspx?nP?根據(jù)定理 1.1，問題 2o 的回答是肯定的?？紤]問題 1o對(duì) 中任一元素 f 的最佳逼近問題稱為最佳一致逼近（通常又稱為],[baCChebyshev 意義下的逼近） 。定理 2.1 如果 f 在 上連續(xù)，則在集合 中存在一個(gè)元素，是 f],[ba?的最佳一致逼近元。證略。§4 最佳平方逼近大家已經(jīng)學(xué)過三維歐氏空間，知道在歐氏空間里一個(gè)向量的長度，兩個(gè)向量的夾角，向量到子空間的投影等是什么意思，在這一節(jié)里，我們要把函數(shù)逼近問題與歐氏空間聯(lián)系起來，研究歐氏范數(shù)下的最佳逼近。4.1 線性內(nèi)積空間定義 4.1 設(shè) 為實(shí)線性空間，如果對(duì)每一對(duì)向量 ，都有一???yx,實(shí)數(shù)與之對(duì)應(yīng)，把這一實(shí)數(shù)記為 ，并且這一對(duì)應(yīng)具有下列性質(zhì)),(yx1） ，),(,xy?2） ，?3） ，),(,),(zz??64） ，等號(hào)成立當(dāng)且僅當(dāng) ， （ 的零向量） 。(,)0x?0?x?則稱 為 x 和 y 的內(nèi)積，一個(gè)線性空間，如果其中定義了滿足上述四條公理的內(nèi)積，我們稱之為內(nèi)積空間。例 4.1 設(shè) ，對(duì) ，定義內(nèi)積],[baC?(),[,]fxgCab??，易驗(yàn)證它滿足公理 1)-4） 。dxgffba)(),(??例 4.2 令 （n 維實(shí)向量空間） ，對(duì)其中向量R，Tn),(21? Tnyy),(21??定義內(nèi)積 nxxyx???21),易知它滿足公理 1)-4） 。令 ，可以證明 滿足第二章中關(guān)于范數(shù)的公理，即),()N)(N是一種范數(shù)，稱為由內(nèi)積導(dǎo)出的范數(shù)，通常記作 ，在不發(fā)生混淆(x 2x的情況下也可簡記為 。x定義 4.2 設(shè) 為內(nèi)積空間， ，若 ，則稱 x 與 y 正???yx,0),(?y交，記作 ?4.2 線性內(nèi)積空間的最佳逼近設(shè) ， ，…， 是線性內(nèi)積空間 的 n+1 個(gè)線性無關(guān)的元素，子0?1n集 ，在 中尋求對(duì)的 某一元素 f 的最佳逼近 ，},{spa?????*S即對(duì) 有??S*fSf??7定理 4.1 是集合 中對(duì) f 的最佳逼近元素，其充要條??niiCS0**??件是 與所有 正交。f?* ),1(j?證明 先證充分性，設(shè) S 是 中任一元素，考慮 fSf????*由于 與所有 正交，從而 也與 正交，因此fS*j?*),(),( *2 fSffSf ????22*S??*f?從而 就是最佳逼近元素，充分性得證。*S再證必要性，假設(shè) 是 中元素， 與 ，…， 中某一元素1S?fS?10?n不正交，記k?，則k?????k且 0)?,(1???kSf記 kS??12??易知 ，現(xiàn)估計(jì) 的范數(shù)??2Sf?)?,?(),( 1122 kksfff ?????(, 21 ?SSf2?8從而推得＜2Sf?21f即 不是最佳逼近元，必要性得證。1S推論 最佳逼近元素如果存在，必定是唯一的。事實(shí)上，如果在子集 中有兩元素都是 f 的最佳逼近，則由定理 4.1?必有，j=0，1 ， …， n),(),(21????jjSfSf?于是 和 都與 正交，于是有?21=0???????? ???? 212212121 ),()(),( SfSfSS這就表示 。下面，我們證明最佳逼近元素是存在的并將其構(gòu)造出來，由定理 4.1最佳逼近元 ，必須滿足：jnjCS?????0， k=0，1 ， …， n （4.1）0,njkjf??????????式（4.1）即， k=0，1 ， …， n （4.2）),(,0kkjnj fC?????????從而由下列方程組所決定9（4.3）???? ?????? ??? ),(),(),(),( ,,,, )()()()(100 11101 00nnn nfCCf?????????? ? ?方程組（4.3）通常稱為法方程組?，F(xiàn)在我們研究方程組的系數(shù)行列式（4.4）0010110101(,)(,)(,)(,)(,)(,)(,)nn nG??????? ? ? ? ? ? ??稱為關(guān)于 的 Gram 行列式。),(10n?? n??定理 4.2 子集 的元素 ， ，…， 線性相關(guān)的充要條件是它們?1f2nf的 Gram 行列式 等于零。),(1nfG?證明 先證必要性。由于 ，…， 線性相關(guān)，因此有一組不全為零1fnf的數(shù) ， ， …， ，使得1?2n 021??kff???上式分別對(duì) ，…， 作內(nèi)積有1fkf???????0),(),(),( ,,, )()()(21 22 1211 kkk kkfff fff????????? ??這是關(guān)于 ，…， 的齊次線性方程組，由于 ， ，…， 不全為1 12k零，故推出其系數(shù)行列式必為零，從而100),(21?kffG?再證充分性，假設(shè) ,?研究下列方程組 ???????0),(),(),( ,,, )()()(21 22 1211 kkk kkfff fff????????? ??容易明白它必有非零解，設(shè)為 。令k? kfff??21易知 ，另一方面，對(duì)上式分別用 作內(nèi)積可得f??,1?， ，…，0),(1f),(2f0)(?fk從而有 ),(,(21?fffk???由于 不全為零，故 線性相關(guān)。定理的充分性得證。k,21? ,1?現(xiàn)在我們回到方程組（4.3）的討論，由于 是 的線性無n?,10? ?關(guān)元素，故 ),(10?nG??從而（4.3）的解存在且唯一。也就是說，最佳逼近元素是存在的并可由（4.3）構(gòu)造出來。下面再給出誤差估計(jì)式，記 為最佳逼近誤差，*Sf???則有11),(22 ?????SffSf?),(*ff),(),S??（4.5）),(),(*1*0* fCffCf n????至此，關(guān)于內(nèi)積空間的最佳逼近元素的特征，存在唯一性，構(gòu)造及誤差估計(jì)已全部論述清楚了。同一列 在不同的 K 中，其 收斂性可能不同ns例：1,[0]2()2,,0,[,1]nxnsxn????????22[0,1]() 03nLsd???而 [,]Cx?4.3 函數(shù)的最佳平方逼近設(shè)[a,b]為有限或無限的區(qū)間，定義在它上面的函數(shù) ，如果具有下)(x?12列性質(zhì)：1） ,0)(?x?][ba?2） ＞0, dc?[,]0cdc????3）積分 存在， n=0，1，…。xban)(則稱其為[a,b]上的權(quán)函數(shù)。對(duì)于在[a,b]上給定的函數(shù)，引入內(nèi)積 dxgfxgfba)()(),(???22這里 為權(quán)函數(shù)，總假設(shè)積分)(x?（4.6）dxfba)(2?是存在的。我們研究滿足（4.6）存在的函數(shù)全體組成的內(nèi)積空間，并選子集 。在子集 上尋找一函數(shù)},{10nsp?????為中某一函數(shù) f(x)的最佳逼近，是指對(duì)于)()(*0*xCxSjnj??，都有??（4.7）dSfba2*)]()[(??? dxSfba2)]()[(????（4.7）式的意義就是誤差 的平方在積分意義下達(dá)到極?njjxCxf0*?小，因此對(duì)于這種逼近就稱為函數(shù)的最佳平方逼近，或稱為最小二乘逼近，由于它是一個(gè)特殊的線性內(nèi)積空間，因此最佳逼近的存在性，唯一性，解13的構(gòu)造，誤差估計(jì)等等已由 4.2 節(jié)全部回答了。我們?cè)谶@里指出， （4.7）也可從另外的觀點(diǎn)來得解，我們知道， 上?任一函數(shù)可寫成 ，而積分??njjxC0)(?dxCfnjjba 20)()(???????????是關(guān)于 的二次多元函數(shù)，記n,10?（4.8）dxxfCI njjban 2010 )()(),( ????????????在子集尋找對(duì) f 的最佳平方逼近函數(shù)，就是尋找函數(shù) 的極),10nCI?小值。其必要條件是， k=0，1 ， …， n??kCI從而有 ??0()()()()nb bkii ka aixxfdx?????????寫成內(nèi)積符號(hào)就是，k=0，1 ， …， n0(,)(,)nkjkjCf?上式恰巧就是（4.3）式。當(dāng)然，從函數(shù)極小值的討論去構(gòu)造最佳逼近函數(shù)，其存在性，唯一性等都要建立一套理論來回答這些問題，但是由于我們已建立了一套最佳逼近理論，所以在解決具體問題時(shí)運(yùn)用求極小值的辦法，常常會(huì)帶來演算的方便。),(10nCI?14例 4.3 在空間 給定元素 ，子集 由 1， x 的線性]1,4[Cxf?)(?組合構(gòu)成（線性多項(xiàng)式空間） ，試求 在 中的最佳平方逼近（?。?。1)(?x?解 由于 ， 故0?x?1，143(,)dt?? 3215),(),(01041???td?62,14?dt另外又有 1407(,)2ft???143,80ftd設(shè)最佳逼近元為 ，據(jù)（4.3）列出法方程式01axy???????80316423570a解得 135,270即線性函數(shù) 8??xy15為 在子集 中的最佳平方逼近函數(shù)。xy??從例 4.3 可以看出，平方逼近算法簡單。例 4.4 取 ，1)(?x?，k= 0，1 ， …， n， ，在 中求 的 n 次kkx)(?]1,0[)(Cxf?nPf最佳平方逼近多項(xiàng)式 nxaaS??????10)(此時(shí) ， j,k=0， 1， …， n10(,)kjjkxdj???則法方程組（4.3）的系數(shù)矩陣為（4.9）???????????1213211),1( nnnxGn? ???? ???這是一個(gè) Hilbert 矩陣，前面我們已經(jīng)知道當(dāng) n 較大時(shí)，系數(shù)矩陣（4.9）是高度病態(tài)的，求解時(shí)舍入誤差很大，這是很不利于計(jì)算的，為避免這種情況，需要引入正交基的概念。4.4 正交基如果 是兩兩互相正交的（ 稱為 的一組正n?,10? n?,10? ?交基） ，法方程組的系數(shù)矩陣為對(duì)角陣， （4.3）成為16???? ???? ),(),(,),( )(),( 11 010 nnfCfC????從而直接可得，i =0，1 ， …， n （4.10）(,)iifC???這樣就不存在方程組病態(tài)的問題了。如果假設(shè) 的范數(shù)均為 1 （ 稱為 的一組標(biāo)n?,10? n?,10? ?準(zhǔn)正交基） ，那么進(jìn)一步有，i =0，1 ， …， n （4.11）(,)iCf??在這種情況下， 1(,)niiSf????而（4.5）式的誤差估計(jì)式有（4.12）220|niiffC????上式左端恒正，故又有 Bessel 不等式（4.13）20|niif???如果對(duì)所有的 i， 都存在， 稱為 f 的廣義 Fourier 展開，i?0iiC?????稱為廣義 Fourier 系數(shù)。?iC17下面用正交化過程來證明正交基的存在性。定理 4.3 任何 n 維空間都存在正交基證明 按照 n 維空間的定義，存在一組基 ，由這組基，通過nf,1?正交化過程，可以構(gòu)造出兩兩正交的基 。ne,1?令 ，在 所在“平面”上找，也就是找具有下列形式的1fe?1,f12fe???選擇數(shù) ，使 ，即使?0),(12 0),(12f由此得 ),/(,12ef???設(shè)兩兩正交而異于零的向量 已經(jīng)構(gòu)造出來，向量 要求1?ke? ke具有形式 121efekkkk ???????選擇系數(shù) 使 與向量 正交，即滿足11,?? 1,e? 0)(1??fkk? ,21????…… …… …… 0),(11??kkeef?由于 兩兩正交，故上述等式簡化為：1,?ke?，),(),(11???fkk?，022ee…… …… ……18。0),(),(11????kkeef?由此得 ,/,11fkk?)(222e?…… …… …… ),/(),(111??kkf?最后我們利用 線性無關(guān)的條件來證明 ，注意到nf,2? 0?ke是 和 的線性組合， 又可表示為 和 的線性kef1,?ke? 1?ke1?f12,?組合，依此類推最后可將 表示為k 11????kkff??的系數(shù)為 1，而 線性無關(guān)，所以 ，證畢kf kf,? 0?e以上的正交化方法通常稱為 Schmidt 正交化過程?！? 正交多項(xiàng)式若首項(xiàng)系數(shù) 的 n 次多項(xiàng)式 ，滿足0?na)(xgn（j,k=0，1，…）??????? kjAdxgxkkjba 0)()(?則稱多項(xiàng)式序列 在[a,b]上帶權(quán) 正交，并稱 是?,10 )(x?)(xgn[a,b]上帶權(quán) 的 n 次正交多項(xiàng)式。)(x一般來說，當(dāng)權(quán) 及區(qū)間[a,b]給定后，從序列 就可用?},1{2?4.4 節(jié)所述的 Schmidt 正交化過程構(gòu)造出正交多項(xiàng)式。用上述方法只能19一個(gè)接一個(gè)地構(gòu)造出正交多項(xiàng)式，在使用上有所不便，利用多項(xiàng)式的某些性質(zhì)，我們可以得到一些更直接，更方便的方法來構(gòu)造正交多項(xiàng)式，較重要的有下列幾類：5.1 勒讓德（Legendre）多項(xiàng)式當(dāng)區(qū)間為[-1,1]，權(quán)函數(shù) 時(shí)，由 正交化所得的多1)(?x?},{2?x項(xiàng)式就作為 Legendre 多項(xiàng)式并用 表示，這一類?? )()(,0Pn正交多項(xiàng)式有如下的簡單表達(dá)式，n=0 ，1，… （5.1）}){(!21)(,)( 20 nnxdxP??由于 是 2n 次多項(xiàng)式，求 n 階導(dǎo)數(shù)后得x12? 01)()1(!)( axann?????于是得到首項(xiàng) 的系數(shù) ，顯然最高系數(shù)為 1 的 Legendre 多nx2)!(an?項(xiàng)式為（5.2）])1[()!2(~2nnnxdxP?Legendre 多項(xiàng)式有下述幾個(gè)重要性質(zhì)性質(zhì) 1 正交性（5.3）????????? nmdxPmn120)(120證明 令 ，則 （k=0 ，1， …，n-1） 。nx)1()2???0)(??k?設(shè) 是在區(qū)間[-1,1]上有 n 階連續(xù)可微的函數(shù)，由分部積分知)(xQdxQdPnn)(!2)(11????????xn)(!211?dn)(1)(??下面分兩種情況討論（1）若 是次數(shù)小于 n 的多項(xiàng)式，則 ，故得)(xQ0)(?xQn，當(dāng)0)(1???dxPmm?（2）若 ,)!(2!2)( ???nnn xx?，))((xQnn于是 ?????12212 )()!() dxdxPnnn 122(nn由于 ，故?? ?????102102 )34cos)(dxdxn? ? 12)(12?nPn于是（5.3）得證。21性質(zhì) 2 奇偶性（5.4）)(1)(xPxnn??由于 是偶次多項(xiàng)式，經(jīng)過偶次求導(dǎo)仍為偶次多項(xiàng)式，)(2?經(jīng)過奇次求導(dǎo)則為奇次多項(xiàng)式，故 n 為偶數(shù)時(shí)為偶函數(shù)， n 為奇數(shù)時(shí)為奇函數(shù)，于是（5.4）式成立。性質(zhì) 3 遞推關(guān)系 考慮 n+1 次多項(xiàng)式它可表示為 )()()()( 110 xPaxaPxn????兩邊乘以 ，并從-1 到 1 積分，得Pk ddkkn?????12)()(當(dāng) 時(shí)， 次數(shù)小于等于 n-1，上式左端積分為 0，故得2?nx，當(dāng) k=n 時(shí) 為奇函數(shù)，左端積分仍為 0。故 ，于是0?ka)(2Pn ?na)()(11xPaxnn???其中 1242)(2111 ???????? ndxnan1133()() 3nnP?????從而得到以下的遞推公式（n=1，2 ， …） 1 n1()(2)((x)nnxxP? ?（5.5）22由 ， ，利用（5.5）式就可推出1)(0?xPx)(， ，2/)132??2/)35()3xxP??，8/05()44?，765x，……16/)24P性質(zhì) 4 在所有最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中，Legendre 多項(xiàng)式在[-1,1]上與零的平方誤差最小。)(~xPn設(shè) 是任意一個(gè)最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式，它可表示為Q)(~)(0xPaxkknn????于是 dxQnn)(),(21??~,,~,0nkkn PaP????當(dāng)且僅當(dāng) 時(shí)等號(hào)才成立，即當(dāng) 時(shí)平110?a? )(xn?方誤差最小。性質(zhì) 5 在區(qū)間（-1，1）內(nèi)有 n 個(gè)不同的實(shí)零點(diǎn)。)(xPn前幾個(gè) Legendre 多項(xiàng)式的圖形如下：235.2 切比雪夫（Chebyshev）多項(xiàng)式（3.1）)arcos()(xnxTn??如此定義的 是 x 的多項(xiàng)式嗎？試看 n=0 和 n=1 的情形：1)(0xT??)cosar1注意到如下的三角恒等式： ??cos2)1()( nn??令 ，則有xarcos??， n=1，2，… （3.2）)(2)(11xTTnn??不難看出 確實(shí)是 n 次多項(xiàng)式且與 n 的奇偶性相同，即 隨)(xTnn 為奇數(shù)或偶數(shù)而成為 上的奇函數(shù)或偶函數(shù)。],[24顯然 的最高次項(xiàng) 的系數(shù)為 ，即)(xTnnx12?n（3.3）)(21的 低 次 多 項(xiàng) 式???稱為 n 次 Chebyshev 多項(xiàng)式。)(n前 9 個(gè) Chebyshev 多項(xiàng)式如下表表 3-1 1321602518)( 76483)(1842)(14877 243552330 ?????????xxxTxxTxT顯然（3.4）1)(max1??n并且在點(diǎn)列cos 0,kkn????－1= ＜ ＜…＜ =10x1x上， 以正負(fù)交錯(cuò)的符號(hào)取到它的絕對(duì)值的最大值 1。)(xTn25（3.6）kknxT)1(??根據(jù)定理 2.2，首項(xiàng) 系數(shù)為 1 的多項(xiàng)式n)(2)(~1xn?為所有 系數(shù)為 1 的 n 次多項(xiàng)式類中唯一的，在[-1,1]上與零偏差最小的nx多項(xiàng)式。的 n 個(gè)零點(diǎn)全位于（－1，1）內(nèi)，且都是單重的，它們是：。)(T， （3.7）2coskx????1,kn??從幾何上看，如果將以原點(diǎn)為圓心，以 1 為半徑的上半圓周分成 2n 等分，再把圓周上所有奇分點(diǎn)位往 x 軸上投影，則恰好得到點(diǎn)列（3.7） 。此外，實(shí)際計(jì)算中時(shí)常要求 用 ， ，…， 的線性組合表示，n0T1n其公式為 ????????????????2021)(nkknxx這里規(guī)定 ，n=1~8 的結(jié)果見表 3-2。20?T表 3-226)82563(12874)6150(26)43(81)(2164053742352043200 TTxxTxTx???????它還是一類重要的正交多項(xiàng)式。Chebyshev 多項(xiàng)式有很多重要性質(zhì)：性質(zhì) 1 正交性Chebyshev 多項(xiàng)式 在區(qū)間[-1,1]上帶權(quán) 正交，)}({xTn 2()1/xx???且（5.7）????????? .0,;2,1)(2nmdxmn?事實(shí)上，令 ，則 ，于是cosx??sin?271200,;()cos02,.nm nmTxdnd???? ?????????性質(zhì) 2 遞推關(guān)系，n=1，2，…，)()(2)(1xTxTnn???，0?這只要由三角恒等式cos()coscos()??1?n令 即得。x?性質(zhì) 3 只含 x 的偶次冪， 只含 x 的奇次冪，這性質(zhì))(2Tk )(12Tk?由遞推關(guān)系直接得到。性質(zhì) 4 在區(qū)間（-1,1）上有 n 個(gè)零點(diǎn) ，)(n ?nkk21cos??k=1，2， …， n。前幾個(gè) Tchebyshev 多項(xiàng)式的圖形如下：285.3 無窮區(qū)間上的正交多項(xiàng)式正交多項(xiàng)式的正交區(qū)間[a,b]也可以是無界區(qū)域，當(dāng)然此時(shí)權(quán)函數(shù)必須保證 ，n=1，2，…， 。()x?()bnaxd?????1．拉蓋爾（Laguerre）多項(xiàng)式 在區(qū)間 上帶權(quán) 的正交多項(xiàng)),0[xe?式稱為 Laguerre 多項(xiàng)式，其表達(dá)式為 ()()nxxndLe??它也具有正交性質(zhì) 20 0,()(!)xnmnedx??? ??????和遞推關(guān)系，1)(0?L?)(29，n =1，2，…。)()(21() 12xLxnxLn ????2．埃爾米特（Hermite）多項(xiàng)式 在區(qū)間 上帶權(quán) 的正),??2xe?交多項(xiàng)式稱為 Hermite 多項(xiàng)式，其表達(dá)式為 )()1(22xnxnedH??它滿足正交關(guān)系 ????????? nmxennmx ,!20)(20 ?并有遞推關(guān)系， ，1)(0?H)(n=1，2，…。2)(1 xnxn ??5.4 一般正交多項(xiàng)式的幾個(gè)重要性質(zhì)性質(zhì) 1 在 空間中， 首一的 n 次正交多項(xiàng)式 在所有2,[]Lab? ()npx?最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中與零的偏差最小。設(shè) 是任意一個(gè)最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式，它可表示為)(xQn0()()nnkpxapx??????于是120(,)(),((),(nnnkkxxp??????（ 勾 股 定 理 ）30當(dāng)且僅當(dāng) 時(shí)等號(hào)才成立，即當(dāng)0110naa????時(shí)平方誤差最小。)(~xPQnn?推論 在所有最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中，Legendre 多項(xiàng)式在[-1,1]上與零的平方誤差最小。)(n性質(zhì) 2. 首一的 Chebyshev 多項(xiàng)式 在所有最高次項(xiàng)系數(shù)為 1()nTx?的 n 次多項(xiàng)式中在[-1,1]上與零的一致偏差最小。定理 5.1 是[a,b] 上帶權(quán) 的 n 次正交多項(xiàng)式的充分必要條()npx)(x?件是： 是 n 次多項(xiàng)式并且()k=0,1,…,n-1()0bknad??證明是容易的，從略。定理 5.2 設(shè) 是 [a,b]上帶權(quán) 的 n 次正交多項(xiàng)式，則()npx)(x?的零點(diǎn)全位于(a,b) 內(nèi)，并且都是單重的。npx證明：設(shè) ，如果，不妨設(shè) ，令1()nkkxx???1xa?，據(jù)定理 5.1，2())nkqx??n-P()()0bnaxpqdx???但是上式中的被積函數(shù)為 ，積分21,a.e(,)b???應(yīng)當(dāng)大于 0，矛盾。同理可證所有的零點(diǎn)不可能大于 b，出現(xiàn)一對(duì)共軛復(fù)數(shù)或?yàn)槎氐摹?1§6 離散情況的最佳平方逼近在§4 論述了內(nèi)積空間的最佳逼近理論。現(xiàn)在我們討論離散情況的最佳平方逼近。對(duì)于 n 維歐氏空間中任二向量，???????nxX?21??????nyY?21其內(nèi)積定義為，??iiTY1),(相應(yīng)的范數(shù)為.2(,)Xx給定歐氏空間的一個(gè)子集 ，其中 為線性無關(guān)}{1lspan??iX組。子集 對(duì)某一向量 Y 的最佳逼近，是指在 中尋找一向量 使它對(duì)?的任意向量 X 都滿足不等式?.YX???如果 ，也即子集 是一個(gè) n 維歐氏空間，那么由線性代數(shù)的知識(shí)，nl?恒有唯一的一組常數(shù) 使c,21? ,1???niiXY此時(shí) ，因此 就是 Y 的最佳平方逼近，下面我們討論0???XY?l＜ n 的情況。32由§4 定理 4.1， 與所有 正交，即XY??lX,,21?， k=1，2 ， …， l0),(?k記， ，iliXc???112iinix???????那么有 ).,(,1kkili Yc????????從而 由下列方程組所決定：??ic,21?（6.1）???? ?????? ??? ),(),(),(),( ,,,, )()()()(21 22212 11lllll lXYccXccc? ????????????????????? ??其中 ??nkjijTiji x1,),(1, .njiikYXy（6.1）可寫成33，,),,( 2121 YXcXTjllTjTjj ???????????j=1，2，…，l.容易看出，上式又可寫成 .),,(),,(),,( 2122121 YXcXXTlllTl ???? ?????????引入 階矩陣ln?（6.2 ）12121212(,,)llnnlxxAX??????????? ???于是上式可寫成（6.3）.YACTT??其中 為 l 階方陣， 分別為 l， n 維向量，AT,， .?????????lc?21??????nyY?21容易看出， （6.3）式的系數(shù)矩陣 是對(duì)稱的。由于 為線AT lX,,21?性無關(guān)組，我們可進(jìn)一步推出矩陣 是正定的。事實(shí)上，對(duì)于 l 維歐氏34空間的任一向量 g，考慮 的二次型有：AT,0),(),(??g其中等號(hào)僅當(dāng) 時(shí)才成立：即有 ，或即0?T.0),,(1221 ????????TiliTll Xgg??由 是線性無關(guān)組推得 ，即 。從而，當(dāng) 時(shí)lX,,21? 0i 0?g有＞0，),(gAT也就是說矩陣 是正定矩陣。由于矩陣 是正定的，所以可建立求解AT T（6.3）的特殊方法，例如平方根法，喬列斯基（Cholesky）法。若 兩兩正交，則矩陣成 為對(duì)角形，即),21(liX??T,2221??????lT XxA?從而（6.3）的解變?yōu)椋海琲=1,…,l???? ???????nknkiiTii xyXYC1212//§7 數(shù)據(jù)擬合的最小二乘法357.1 問題的引入在工程實(shí)踐和科學(xué)實(shí)驗(yàn)中，量與量之間的關(guān)系表現(xiàn)為：1）確定性關(guān)系：如電學(xué)中著名的歐姆定律就是確定性的關(guān)系。用 V 表示電壓， R 表示電阻， I 表示電流，歐姆定律指出 .RIV??有的確定性關(guān)系是由微分方程或積分方程來描述的。例如，阻尼振動(dòng)中，位移 x 與時(shí)間的確定性關(guān)系由微分方程 022??xdttx??所決定，其中 為固有頻率， 為阻尼系數(shù)。0?2）非確定性關(guān)系：由于因素的復(fù)雜性或其它原因，變量之間找不到完全確定的關(guān)系。例如紗的回潮率與原棉含水量之間；鋼水含碳量與冶煉時(shí)間；魚的活動(dòng)與海水溫度；臺(tái)風(fēng)登陸路徑與沿海各地的風(fēng)向、氣溫、濕度之間等等，這些量之間，既存在密切關(guān)系，又不能由一個(gè)（或幾個(gè)）變量的數(shù)值精確地求出另一個(gè)變量的值。但是通過人的實(shí)踐，通過儀器，我們獲得了大量的實(shí)驗(yàn)數(shù)據(jù)，這些大量的偶然現(xiàn)象，始終是服從內(nèi)部隱藏著的規(guī)律的。現(xiàn)在我們又回到數(shù)值逼近范圍內(nèi)來談這個(gè)問題，為了敘述方便，先討論兩個(gè)變量 x， y 的情況。也就是說，通過觀測(cè)變量 x， y 積累了一組資料，i=1，2 ， …， n， 一般地說 n 都比較大。我們的任務(wù)是從積累得),(i到的實(shí)驗(yàn)數(shù)據(jù) ，i=1 ， 2， …， n， 尋求一近似函數(shù) 去逼近),(i )(?y。 由于觀測(cè)數(shù)據(jù)都帶有觀測(cè)誤差，數(shù)組 數(shù)目又較大，對(duì)于這類問),(iyx題運(yùn)用插值函數(shù)去描述 y 往往是不適當(dāng)?shù)?。我們以下面的例子來說明建36立近似函數(shù) 的一種辦法，即最小二乘法。)(x?++++++++例 7.1 合成纖維抽絲工段，第一導(dǎo)絲盤的速度對(duì)絲的質(zhì)量是很重要的參數(shù)，現(xiàn)發(fā)現(xiàn)它和電流周波有重要關(guān)系，由生產(chǎn)記錄得到的數(shù)據(jù)如下表：周波x49.2 50.0 49.3 49.0 49.0 49.5 49.8 49.9 50.2 50.2第一導(dǎo)絲盤速度（ y）16.7 17.0 16.8 16.6 16.7 16.8 16.9 17.0 17.0 17.1表 4今要研究 y 與 x 的關(guān)系，通常的步驟如下：1）先用一坐標(biāo)紙，將 描于圖上（圖 8） 。),(iy圖 7.12）憑視覺約略知道 在一條直線的兩側(cè)附近，于是猜想 y 與 x),(iyx37近似地成直線關(guān)系，bxay????上面直線關(guān)系式稱為數(shù)學(xué)模型。在第 i 次觀測(cè)數(shù)據(jù)中， 與實(shí)測(cè)值 有誤iy?i差，i= 1，2 ， …， n，)(iii xy??將它們平方后加起來得到總誤差： ).,()(2121 baIiiniini ???我們當(dāng)然希望，數(shù)學(xué)模型（主觀猜想）應(yīng)盡量接近客觀實(shí)際，即總誤差越小越好，也就是選取 a,b 使 I(a,b)最小。問題又回到了內(nèi)積空間21ini??的最佳逼近。定義向量 Y、 X、 E 分別為， ，???????ny?21??????nx?21.????????n 維歐氏空間的一個(gè)子集 Span{X， E}對(duì) Y 的最佳平方逼近就是選取 a,b使向量 ba???的范數(shù)達(dá)到極小，即 )()(2 XEYYT（7.2）.min,21 ????baIxyiini（7.2）與（7.1）的提法完全一致。從問題的來源看，確定使誤差平38方和達(dá)到最小的方法稱為最小二乘法，高斯對(duì)于天文觀測(cè)數(shù)據(jù)的處理就運(yùn)用了這個(gè)方法。依照我們建立的理論，a,b 由下列方程組所決定：?????????niniiiii yaxbx112.,解之有 ,1212?????????niniiiiii xyyxa.1212??????????niniiiixyyb運(yùn)用表 4 的數(shù)據(jù)求得a=0.04， b=0.339,即 .3904.?xy???必須指出，這里所說的歐氏空間最佳逼近，并不是說 是 ybxay???的最佳數(shù)學(xué)模型。因此就存在著另一個(gè)問題，上述數(shù)學(xué)模型是否符合客觀實(shí)際呢？也就是說，如何檢查數(shù)學(xué)模型的質(zhì)量呢？當(dāng)然，最根本的辦法是拿到生產(chǎn)中去考驗(yàn)，但當(dāng)觀測(cè)數(shù)據(jù)積累多了以后，就能夠建立一套數(shù)學(xué)理論去檢驗(yàn)數(shù)學(xué)模型的準(zhǔn)確性，偶然的現(xiàn)象，隱藏著必然的規(guī)律，概率統(tǒng)39計(jì)的課程里將介紹這個(gè)問題。例 7.2某航空售票點(diǎn)（PVG-IAD）機(jī)票銷售加價(jià)和預(yù)期銷售量之間的關(guān)系加價(jià)額度x（元）銷售量P（張/周） 加價(jià)額度x（元）銷售量P（張/周）50 58 225 5475 53 250 52100 59 275 50125 55 300 47150 62 325 35175 62 350 27200 55對(duì) P 和 x 的關(guān)系用三次多項(xiàng)式進(jìn)行擬合，用最小二乘法可解得 32()0.2680.790.43765.813xxx?????40最小二乘法模型中的非線性函數(shù)例 7.3 已知 及擬合這批數(shù)據(jù)的非線性數(shù)學(xué)模(,)0,1)ixyN??型 （a,b 為待定參數(shù)）)byae?1．如何將非線性模型線性化？2．寫出線性化模型中待定系數(shù)的法方程。3．設(shè)數(shù)據(jù) (,)0,1)ixyN?? 如下：i0 1 2 3i2.010 1.210 0.7400 0.4500?iy2.0027 1.2169 0.7395 0.449341求出擬合上述數(shù)據(jù)的非線性擬合函數(shù)。1、設(shè) 則模型成為yln?bxay??ln)(2、設(shè) BbAa?法方程式為x????????????????niiiniii yxBx1123、????????????????????????????????????? 49815.068071.214697.3190.682131001BABA最后擬合的非線性函數(shù) .95().0xyxe=1.0226e-0042?> [c,renorm]= lsqnonlin(@fun1117,x0)Local minimum found.0 1 2 3y2.010 1.210 0.7400 0.45000.6981 0.1906 -0.3011 -0.798542c=2.0076 -0.5008renorm = 6.7226e-005例 7.4 出鋼時(shí)所用盛鋼水的鋼包，由于鋼水對(duì)耐火材料的浸蝕，容積不斷增大，我們希望找出使用次數(shù)與增大的容積之間的關(guān)系。試驗(yàn)數(shù)據(jù)如下表：使用次數(shù)增大容積使用次數(shù)增大容積使用次數(shù)增大容積ixiyixiyixiy2 6.42 7 10.00 12 10.603 8.20 8 9.93 13 10.804 9.58 9 9.99 14 10.605 9.50 10 10.49 15 10.906 9.70 11 10.59 16 10.76解 將數(shù)據(jù)標(biāo)在坐標(biāo)紙上（參見圖 7.2） ，我們看到，開始時(shí)浸蝕速度快，然后逐漸減弱，顯然鋼包容積不會(huì)無窮增加，于是可以想象它有一條平行于 x 軸的漸近線，根據(jù)這些特點(diǎn)我們選取數(shù)據(jù)擬合的曲線為雙曲線。43圖 7.2假設(shè)選擇的數(shù)學(xué)模型為：,xbay????1令 ,~1,?xy于是上式變?yōu)?bay???解得結(jié)果如下：a=0.0823, b=0.1312.從而 ,132.08.?1xy???即 .13208.?1?xy44若將曲線擬合的雙曲線模型改成指數(shù)形式 ,?xbaey??將上式兩邊取對(duì)數(shù) .lnx?,~l,~1,l bay???則有 .xy??求得 .107~,458.2??ba從而 .,69.1~?ea最后求得 .78.?107xey??怎樣比較數(shù)學(xué)模型的好壞呢？雙曲線模型的誤差為 ,132.08.)1( ???xy?指數(shù)形式模式模型的誤差為 .679.107)2( xey?針對(duì)建立的模型比較實(shí)測(cè)值與擬合值的誤差如下表：45實(shí)測(cè)值 擬合值 擬合值 誤差 誤差 實(shí)測(cè)值擬合值 擬合值 誤差 誤差iy雙曲模型指數(shù)模型(1)i?(2)iiy雙曲模型指數(shù)模型(1)i?(2)i6.42 6.761 6.702 -0.341 -0.282 10.49 10.479 10.451 0.011 0.0398.20 7.934 8.065 0.266 0.135 10.59 10.612 10.557 -0.022 0.0339.58 8.687 8.847 0.893 0.733 10.60 10.725 10.646 -0.125 -0.0469.50 9.212 9.353 0.288 0.147 10.80 10.823 10.723 -0.023 0.0779.70 9.599 9.705 0.101 -0.005 10.60 10.908 10.788 -0.308 -0.18810.00 9.896 9.965 0.104 -0.035 10.90 10.983 10.845 -0.083 0.0559.93 10.131 10.165 -0.201 -0.235 10.76 11.049 10.896 -0.289 -0.1369.99 10.322 10.322 -0.332 -0.333 ,19.)28.0()26.0()341.()(12 ???????? ?nii? .4)36.()5.()8.()( 22212? ?nii由于 較小，所以我們選擇指數(shù)模型作為鋼包使用次數(shù)與增大容(2)1nii??積之間的近似關(guān)系。選擇合適的曲線模型是一件不容易做到的事情，主要靠人們對(duì)問題所屬的專業(yè)知識(shí)的了解來定，如專業(yè)上也不清楚時(shí)，可用坐標(biāo)紙描出點(diǎn)來從數(shù)學(xué)上加以選擇。46§9 問題與探索：最小二乘法模型中的非線性函數(shù)和約束條件最小二乘問題中所包含的條件方程一般可能是非線性的?？墒牵ǔＪ怯镁€性函數(shù)進(jìn)行最小二乘處理，因?yàn)閷で蠓蔷€性方程的最小二乘解是相當(dāng)困難的，所以，每當(dāng)模型中的方程原來是非線性時(shí)，必須采用某種線性化方法獲得線性方程。為此目的，常常應(yīng)用級(jí)數(shù)展開式，特別是泰勒級(jí)數(shù)，只利用級(jí)數(shù)展開式的零階和一階項(xiàng)，省去其他高階項(xiàng)。當(dāng)應(yīng)用某一級(jí)數(shù)展開式時(shí)，對(duì)方程中的未知數(shù)必須選取一組近似值。這些近似值的選擇是解算問題的一個(gè)重要方面?？上У氖牵€沒有一個(gè)選取近似值的具體而唯一的途徑能用于所有最小二乘問題。有時(shí)依靠經(jīng)驗(yàn)，另一些時(shí)候可以采用某些近似計(jì)算。在各種情況下，都應(yīng)力圖利用比較簡單的方法得到接近的近似值。為了說明怎樣進(jìn)行線性化，令（8.1）0)(?xf表示任一非線性方程組，包括 m 個(gè)方程，其中 x 是未知變量的向量。如用表示變量的近似值向量，級(jí)數(shù)展開式的零階和一階項(xiàng)將為0x（8.2）0)((00?????xFf為函數(shù)對(duì)于變量向量中各元素的一組偏導(dǎo)數(shù)，是一個(gè) 維的矩陣pm?（Jacobi 矩陣） 。向量是代替未知數(shù)向量 x 的近似值的改正數(shù)向量。利用級(jí)數(shù)展開的結(jié)果，是把非線性方程變成為線性方程組，其一般形式是：（8.3）uxJ??此處 )(0xFu??47最小二乘法求解后，所得到的解是向量 ，如果原始近似值向量x?充分接近，使得方程（8.2）足以代替方程（8.1） ，即級(jí)數(shù)的二階和高0x階項(xiàng)事實(shí)上是可省略的，則最后的最小二乘估值為 ?？墒牵?(0x?往往不是這樣接近的近似值， 與 x 相加只能得到一個(gè)改進(jìn)的近似值。0現(xiàn)在必須用更新的近似值向量再列出方程式（8.3）或（8.2） ，并應(yīng)用最小二乘求定更新的向量 ，它的各元素一般比第一次的小。這種用更新的近x?似值向量重新線性化的過程繼續(xù)進(jìn)行，直到 的最后值小到可以不計(jì)時(shí)，x?終止迭代。最后估值 將是原始近似值和全部改正數(shù)向量 之和（或者是? x最后更新的近似值向量加上最后改正數(shù)向量） 。在許多實(shí)際問題中，理論函數(shù) 個(gè)各個(gè)參變量12(;,)nfxb?可能不完全獨(dú)立，它們的數(shù)值常受到某些物理或數(shù)學(xué)條件的約12,,nb?束。例如，在曲線擬合中，為使擬合函數(shù)或它的導(dǎo)數(shù)在某些點(diǎn)上有指定的數(shù)值，或?yàn)楸ＷC分段擬合曲線在連接點(diǎn)處連續(xù)與光滑，就出現(xiàn)等式約束條件；不等式約束條件產(chǎn)生于要求約束產(chǎn)生于要求擬合曲線具有正性、單調(diào)性與凸性等情況。同樣，在物理、統(tǒng)計(jì)、數(shù)學(xué)規(guī)劃、控制論與經(jīng)濟(jì)等領(lǐng)域中，經(jīng)常也會(huì)碰到約束條件的最小二乘問題。因此，討論這類問題的計(jì)算方法具有重要的應(yīng)用價(jià)值。此處不擬討論約束最小二乘問題的詳細(xì)解法，有興趣的讀者可參閱有關(guān)的教材或?qū)Ｖ?。非線性或帶約束條件的最小二乘問題的解可以用 Matlab 的工具箱函數(shù)來求得。值得注意的是非線性問題的迭代有可能陷入局部最優(yōu)解，因此無論用什么方法解此類問題，一個(gè)盡可能接近最優(yōu)解的初值的選取是非常重要的。如果對(duì)于最優(yōu)解的范圍有較多的了解或限制，則利用約束條件：4801Aby?????可以得到符合實(shí)際要求的解。