《最小二乘法在解決實(shí)際問題中的應(yīng)用分析研究 小學(xué)教育專業(yè)》由會員分享，可在線閱讀，更多相關(guān)《最小二乘法在解決實(shí)際問題中的應(yīng)用分析研究 小學(xué)教育專業(yè)（7頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、最小二乘法在解決實(shí)際問題中的應(yīng)用 摘 要 最小二乘法是從擬合方面入手，多用于參數(shù)估計(jì)系統(tǒng)檢測等多個地方。 然而，最小二乘法通常由于其抽象而無法準(zhǔn)確理解。 在本文中，討論了最小二乘法的基本原理及其各種擬合方法，這其 中 有 ： 一 元 線 性的 最 小 二 乘 法 擬 合，多 元的 線 性 擬 合， 多項(xiàng) 式的擬 合， 非 線 性的擬 合 和 可 轉(zhuǎn) 化 成為 線 性 擬 合 的 非 線 性 擬 合。 關(guān)鍵詞：數(shù)據(jù)擬合；數(shù)學(xué)工具；分析應(yīng)用；誤差項(xiàng)；層次分析法 Abstract The least squares method is used to estimate or identif

2、y the regression model from the perspective of error fitting. It is widely used in many fields such as parameter estimation, system identification and forecasting and forecasting. However, the least squares method is usually not easily understood due to its abstraction. In this paper, the basic prin

3、ciple of least squares method and its various fitting methods are discussed. There are one linear linear least squares fitting, multiple linear fitting, polynomial fitting, nonlinear fitting and Can be transformed into linear fitting of linear fitting, and the application of least squares method in

4、practice is shown by examples. On this basis, the design principle of several least squares procedures is given. Keywords: Least square method; Weighted least square method; Linear fitting; Curve fitting ;Application example 1引言 最小二乘法第一次出現(xiàn)的時(shí)間是1805年，天文學(xué)家勒讓德是出書的人，而且附錄里邊是計(jì)算彗星的軌道的新方法，并且它作為計(jì)算方法，它也處于應(yīng)用

5、數(shù)學(xué)的初級階段?，F(xiàn)如今，最小二乘法的理論研究變得很成熟了，慢慢分為多種專業(yè)方向。而且最小二乘法所應(yīng)用的地方非常多，這就是為什么要研究最小二乘法的原因。 1.1研究意義與現(xiàn)狀： 最小二乘法最早是在十九世紀(jì)初創(chuàng)立的，是最重要的統(tǒng)計(jì)方法。他延伸出了許多知識，例如：加權(quán)最小二乘法，一元線性擬合等等。所以研究最小二乘法是有必要的。 朱賽普·皮亞齊發(fā)現(xiàn)了被命名為“谷神星”的小行星，這個科學(xué)家進(jìn)行了長達(dá)40多天的觀察研究，但是因?yàn)檫@顆小行星運(yùn)轉(zhuǎn)到了太陽的背面，皮亞齊找不到它的位置了。然后有非常多的科學(xué)家來找尋這顆小行星，結(jié)果沒有一個人能根據(jù)計(jì)算找到，最后海因里?！W爾伯斯利用高斯的方法找到了。 經(jīng)過

6、二百多年的發(fā)展，最小二乘法在科學(xué)的實(shí)驗(yàn)中還有工程技術(shù)里面得到了非常廣泛的應(yīng)用，隨著現(xiàn)代電子計(jì)算機(jī)的應(yīng)用和發(fā)展，這種方法就顯得非常強(qiáng)大。 利用最小二乘法所得到的觀測值在各領(lǐng)域的應(yīng)用還不完善，觀測的精確度從始至終都是極限值，假如超過了這個極限的值，那么就會引起失效，或者數(shù)學(xué)模型的表達(dá)和測量儀器的分辨力都失效。超過這個精度極限，反復(fù)觀察的結(jié)果將不會相互重合。 例如，如果我們用眼睛去看和用米尺去測量工作臺的長度，那么極限的精確度可能就是毫米了。如果我們把結(jié)果記錄到最接近0的0.1，那么它們就會不一致。我們想要的精度通常超過我們觀察到的精度極限值。在這種情況下，我們無法知道我們觀察到的物理量的真實(shí)數(shù)

7、值。 我們只能估計(jì)真實(shí)數(shù)值是多少。我們希望這個估值是獨(dú)一無二的（即使用一種標(biāo)準(zhǔn)方法來確定估值，當(dāng)給出相同的觀察值時(shí)，這種方法得到的是相同的估值），我們想知道估值的優(yōu)度怎么樣。 處理不一致數(shù)據(jù)的科學(xué)方法稱為統(tǒng)計(jì)學(xué)， 我們除了用最小二乘法讓不符合的值的平方之和最小這個方法，還可以用別的方法來確定唯一的估計(jì)值。 1.2最小二乘法的定義： 定義1.1(殘差)：。要使盡可能的小，我們比較常見的方法有： （1）有，偏差最大絕對值最小， （2）有，偏差絕對值之和最小， （3）有，偏差平方和最小，， 則稱（3）為最小二乘法原則。 1.3主要性質(zhì)和定理 y與變量之間的關(guān)系式為:。 其中個待

8、定參數(shù)是 ,記， 是測量值, 是由已經(jīng)求解得到的和實(shí)驗(yàn)點(diǎn)集而得到的函數(shù)值。 用最小二乘法轉(zhuǎn)換過的方程組叫做正規(guī)方程組，其中方程式數(shù)等于待定參數(shù)的數(shù)目。 我們可以通過正規(guī)方程組得到。 1.4最小二乘法的優(yōu)點(diǎn)和缺點(diǎn) 優(yōu)點(diǎn)：最小二乘法可以有效處理大量數(shù)據(jù)，提高運(yùn)算的效率，將混亂的數(shù)據(jù)你合成一條直線來反映出數(shù)據(jù)的趨勢。 缺點(diǎn)：在使用過程中應(yīng)需注意下面幾個問題：在解決實(shí)際問題中一定要非常謹(jǐn)慎的選擇擬合關(guān)系，我們一定要借助現(xiàn)有的知識以及經(jīng)驗(yàn)，選擇最合適的擬合關(guān)系。 2運(yùn)用 2.1 曲線性擬合 2.1.1一元線性擬合 假設(shè)變量與之間是有線性關(guān)系的,就是：.現(xiàn)在已知個實(shí)驗(yàn)點(diǎn) ,求解兩個未知的

9、參數(shù). [方法一] 從最小二乘法原理得到,參數(shù)應(yīng)該使得 取得極小值.根據(jù)極小值的求解方法,和必須滿足 , , 解得,即 (1) 其中 , 線性的相關(guān)系數(shù),該式中 , [方法二] 把代入中得矛盾方程組 (2) 令 ,, 則（2）式可寫成 , 則有 , 所以 . 稱為結(jié)構(gòu)矩陣,稱為數(shù)據(jù)矩陣, 稱為常數(shù)矩陣. 稱為信息矩陣,為了量化實(shí)驗(yàn)數(shù)據(jù)與線性關(guān)系的一致程度，我們可以使用相關(guān)系數(shù)進(jìn)行測量。 它被定義為 . 時(shí)，越接近1，之間的線性關(guān)系就很好。為正數(shù)，直線的斜率就是正的，就叫做正相關(guān);對于是負(fù)數(shù)時(shí)，直線的斜率就是負(fù)的，就叫做負(fù)相關(guān);當(dāng)接近0時(shí)，測量的數(shù)學(xué)

10、點(diǎn)分散就稱作為非線性。稱之為最小值的相關(guān)系數(shù)和測量次數(shù)，如圖所示： 3 1.000 9 0.798 15 0.641 4 0.990 10 0.765 16 0.623 5 0.959 11 0.735 17 0.606 6 0.917 12 0.708 18 0.590 7 0.874 13 0.684 19 0.575 8 0.834 14 0.661 20 0.561 應(yīng)該先求出的值，再來進(jìn)行一元線性的擬合,最后與相比較,如果,那么和則具有線性的關(guān)系,就可以求回歸直線；否則則不行。 2.1.2多元線性擬合 個變量與有線性關(guān)系，,假如第個是,對應(yīng)的是，偏差平方和是： 為

11、了讓得到極小的值,那么正規(guī)方程組為: , 即 ,. 將實(shí)驗(yàn)數(shù)據(jù)轉(zhuǎn)化為上述形式的方程里,我們可以得到未知參數(shù). 2.1.3指數(shù)函數(shù)擬合 此時(shí)的擬合函數(shù)具有以下形式：（是未確定的系數(shù)）。式子的兩端取自然對數(shù)有 令 則（*）式化成線性形式為 則可以求出。 從而有。所以 2.1.4 非線性最小二乘法擬合 把非線性關(guān)系代入偏差平方和表達(dá)式中，然后展開成泰勒級數(shù)，忽略高次項(xiàng)，化成線性形式后按線性擬合的方法求出參數(shù),經(jīng)多次逼近可得到滿足精度要求的結(jié)果。 計(jì)算步驟: (1) 假設(shè)我們需要求得的參數(shù)的真值是,然后另外取一個初值,它的差值就是,那么. (2) 將函數(shù) 在處展開成為泰

12、勒級數(shù)。由于初始值和真值應(yīng)該非常接近,所以可以省略高階項(xiàng)的泰勒展開式,以獲得一階近似展開式: , 式中 (3) 令,那么展開式可以寫成: , 這是線性關(guān)系式的特殊形式。 (4)將擬合的多元線性最小二乘法的正規(guī)方程應(yīng)用于上述式子以獲得其正規(guī)方程組[2]： 令 , 那么上式成為: 。 (5)利用高斯消元法或其他方法來求解出正規(guī)方程，我們可以得出結(jié)論就是,然后求解出,該式是一個近似式, 也是近似的值。將第一次獲得的值分配給作為新的初始值，重復(fù)該過程，并獲得新的值，并且獲得新的初始值直到得到的精度足夠準(zhǔn)確為止。 2.1.5 可化為線性擬合的非線性擬合 對于實(shí)際的曲線擬合問題

13、，我們通常根據(jù)觀察值繪制笛卡爾坐標(biāo)平面上的散點(diǎn)圖，看看哪一類曲線類型與散點(diǎn)圖近似。 下表列出了幾種經(jīng)過適當(dāng)轉(zhuǎn)換為線性擬合求解的擬合方程和變換關(guān)系： 曲線擬合方程 變換關(guān)系 變換后線性擬合方程 圖3-1顯示了幾種常見的數(shù)據(jù)擬合。 圖，數(shù)據(jù)接近于直線，適合使用線擬合；圖接近拋物線的數(shù)據(jù)分布，適合使用擬合;?圖數(shù)據(jù)分布的特點(diǎn)是曲線開始上升迅速上升然后逐漸的減速，適合使用或；圖數(shù)據(jù)分布的特點(diǎn)是曲線開始迅速下降，然后逐漸減速，適合使用或或其他函數(shù)擬合。 2.2 加權(quán)最小二乘法 2.2.1加權(quán)最小二乘法定義 該方法適用的擬合方法是在實(shí)驗(yàn)測量值不等精度的情況下，誤差因素消除程度的不同，結(jié)果會趨向

14、于準(zhǔn)確。 令擬合函數(shù)為,當(dāng)值取時(shí)的實(shí)測值為,取，加權(quán)偏差平方之和： , 是個實(shí)驗(yàn)點(diǎn)的權(quán)重因子.選取合適的權(quán)重因子可以獲得高精度的擬合參數(shù)[22]。 2.2.2加權(quán)最小二乘法原理 根據(jù)實(shí)際需要，經(jīng)常對于更高的精確度或更重要的數(shù)據(jù)，應(yīng)給予更大的權(quán)利。 對于給定的一組測試數(shù)據(jù)，需要在中，查找一個函數(shù) 使 是中的任一函數(shù)是正數(shù)，稱作為權(quán)，大小反映的地位強(qiáng)弱， 顯然：求可歸結(jié)為求多元函數(shù) 的極小點(diǎn) 同理可求。但其中： 特例：如果選用的擬合曲線為 則，相應(yīng)的方法方程組為 =。 2.3一元線性擬合實(shí)例 例如：銅導(dǎo)體在溫度（℃）下的電阻如表6-1所示，求解電阻R與溫度T之間的近

15、似函數(shù)關(guān)系。 表4-1 i 0 1 2 3 4 5 6 (℃) 19.1 25.0 30.1 36.0 40.0 45.1 50.0 76.30 77.80 79.25 80.80 82.35 83.90 85.10 解：畫出散點(diǎn)圖，數(shù)據(jù)接近一條直線，讓n=1，擬合函數(shù)就為 列表如下 表4-2 i 0 19.1 76.30 364.81 1457.330 1 25.0 77.80 625.00 1945.000 2 30.1 79.25 906.01 2385.425 3 36.0 80.80 1296.00 2908.800 4 40.0 82.35 1600.0

16、0 3294.000 5 45.1 83.90 2034.01 3783.890 6 50.0 85.10 2500.00 4255.000 245.3 565.5 9325.83 20029.445 正規(guī)方程組為 解方程組得 故得R與T的擬合直線為 例如，當(dāng)R = 0時(shí)T = -242.5，就是預(yù)測溫度T = -224.5℃的時(shí)候，銅線沒有電阻。 2.4用最小二乘法分析國民經(jīng)濟(jì)的增長趨勢 2.4.1.問題背景 通過GDP的發(fā)展我們可以大致分析近幾年我國的經(jīng)濟(jì)發(fā)展趨勢，估計(jì)國內(nèi)的經(jīng)濟(jì)發(fā)展趨勢以及 GDP 的增長速率。 2.4.2大致數(shù)據(jù) 大致下面是我國的近十年的

17、GDP 數(shù)據(jù)： 表中單位：億元 2012 2011 2010 2009 2008 2007 2006 2005 2004 2003 78，894.0 78，579.0 78，388.0 77，510.0 77，046.0 76，531.0 76，315.0 76，120.0 75，290.0 74，911.0 2.4.3問題求解 橫軸代表年份 縱軸代表 GDP，單位：億元 擬合曲線如下： 我們可以得到方程：y = 450.36x – 827147作為問題的回歸大約為 450.36 億元。 2.5武器裝備批量生產(chǎn)成本費(fèi)用研究 引用了武器系統(tǒng)的實(shí)際生產(chǎn)相關(guān)數(shù)據(jù)[7]。 見表1。

18、 生產(chǎn)序號 材料1的耗費(fèi) 材料2的耗費(fèi) 生產(chǎn)工時(shí) 總成本 1 1435 426 421 1975 2 1295 339 289 1615 3 1162 277 248 1421 4 1212 301 237 1462 5 1233 300 236 1540 6 1111 310 239 1366 7 1072 289 209 1290 8 1020 301 220 1288 9 995 268 188 1193 10 1001 264 167 1212 從表1可以看出，材料1，材料2的消耗或生產(chǎn)時(shí)間都隨著批量增加而減少和趨向于穩(wěn)定，并且它們在數(shù)量之間呈現(xiàn)負(fù)的指數(shù)關(guān)系。我

19、們以材料1為例，運(yùn)用批量生產(chǎn)公式擬合，將非線性問題轉(zhuǎn)化成為線性問題。將變量設(shè)置為生產(chǎn)序列號，變量設(shè)為相應(yīng)的材料消耗。 可以通過函數(shù)變換得到回歸方程，并對材料1消耗曲線方程的參數(shù)和顯著性檢驗(yàn)。這里使用 檢驗(yàn)，分別記作 、，在給定顯著性水平的情況下，通過了變量的顯著性檢驗(yàn)[6]。 同樣地，我們將材料2的耗費(fèi)和生產(chǎn)時(shí)間做了類似的處理，就得到了表2 科目 回歸公式 下次預(yù)測 材料1耗費(fèi) 89.3% 370.80 -25.7889 998 材料2耗費(fèi) 72.7% 184.32 -14.6048 264 生產(chǎn)工時(shí) 90.7% 179.59 -28.0087 178 用OLS方法和WLS方法來分

20、別求解。預(yù)測模型有： 加權(quán)最小二乘法： 一般最小二乘法： 是材料1的耗費(fèi)，是材料2的耗費(fèi)，是生產(chǎn)工時(shí)，是總成本。比較二者擬合結(jié)果所得到的差異如表3所示： OLS OLS OLS WLS WLS WLS 擬合值 絕對誤差 相對誤差/% 擬合值 絕對誤差 相對誤差/% 1959.8 -15.2 -0.77 1976.2 1.2 0.06 1639.9 24.9 1.54 1599.2 -15.8 -0.978 1420 -1 -0.07 1421 0 0 1482.7 20.7 1.42 1455.5 -6.5 -0.445 1502.2 -37.8 -2.46 1594.8

21、54.8 3.56 1309.6 -56.4 4.12 1344.3 -21.7 -1.59 1390.5 100.5 7.79 1277.5 -12.5 -0.97 1276.3 -11.7 0.91 1298 10 0.78 1197.4 4.4 0.37 1191.4 -1.6 -0.13 1183.5 -28.5 -2.35 1252.2 40.2 3.32 從表3可以看出，跟實(shí)際的值更接近并且得到的結(jié)果更加精確的是WLS方法它的最大誤差是3．56％，然而OLS方法的最大誤差為7．79％，所以WLS方法的擬合性更好。與此同時(shí)，可知1170為下一次的總成本預(yù)測值，跟這個實(shí)際值

22、更加接近，然而OLS 方法預(yù)測結(jié)果為1173．4，所以WLS方法的外推性也比OLS要更好。圖1更清晰的表明了這一點(diǎn)。 總 結(jié) 從我拿到論文題目開始，我就開始準(zhǔn)備完成論文的前期工作了，直到現(xiàn)在，我的論文已經(jīng)基本完成。剛開始拿到論文題目的時(shí)候，完全沒有一丁點(diǎn)兒的頭緒，不知道該從何下手。關(guān)于最小二乘法的資料實(shí)在太多，又寫不出來大綱，完全不知道該怎么辦，也不知道該查哪方面關(guān)于最小二乘法的資料。大部分人都有這樣的問題，所以齊成輝老師給我們開了一個小會，來指導(dǎo)每個人的論文該如何去寫，我們每一個人該從哪方面下手，查哪方面的資料，還將學(xué)姐學(xué)長的終稿論文給我們讓我們研究，我這才慢慢理清我應(yīng)該怎么寫論文，通過

23、查看相關(guān)文獻(xiàn)以及資料，構(gòu)建一個大致的框架，也就是大綱，然后慢慢補(bǔ)添東西，最后完成了論文。在完成論文的這一段時(shí)間里，我深刻的意識到只要你付出了就會得到回報(bào)，學(xué)到了很多知識，盡管還研究的不是那么透徹，但是讓我受益匪淺。 十二月的中旬，我拿到了我的論文題目，最小二乘法與高等代數(shù)相關(guān)聯(lián)，最小二乘法的核心就是曲線擬合，所以我翻閱了大量的關(guān)于最小二乘法曲線擬合方面相關(guān)資料，首先明白了曲線擬合是什么東西，才能和最小二乘法相關(guān)聯(lián)。 從一月份查資料開始，我先是去了學(xué)校圖書館，在知網(wǎng)上下了大量的論文參考資料，通過整理資料查閱資料，我對我的論文有了一個更深刻的理解，了解到最小二乘法的廣泛應(yīng)用，雖然沒有在本文中研

24、究，但是也學(xué)習(xí)到了很多。 本文先是介紹了最小二乘法的研究現(xiàn)狀以及意義，其次開題是從最小二乘法的定義以及基本原理入手的，分別介紹加權(quán)最小二乘法和最小二乘法的擬合問題，最后通過幾個例子說明實(shí)踐中應(yīng)用最小二乘法的方法。 在實(shí)際應(yīng)用中，利用擬合曲線研究了在物理關(guān)系中銅絲和導(dǎo)線之間的關(guān)系的應(yīng)用，又從經(jīng)濟(jì)問題中，研究了國民經(jīng)濟(jì)的增長趨勢，最后基于加權(quán)最小二乘法研究了武器裝備批量生產(chǎn)成本費(fèi)用。 通過研究這些讓我對最小二乘法有了更深刻的認(rèn)識，盡管研究的不是非常透徹，但是對我以后的學(xué)習(xí)也非常的有幫助，雖然寫論文的過程中遇見了很多困難，但是一一克服之后非常開心，非常有成就感。 最小二乘法相對來說比較古老，

25、有非常多的人研究它，最令人著迷的是在大量的混亂的數(shù)據(jù)中找到一定的規(guī)律，并擬合成一條反映總體趨勢的曲線，這是一個非常有效的數(shù)據(jù)處理方法，雖然存在著數(shù)據(jù)量大容易出錯的弊端，但是隨著現(xiàn)代電子技術(shù)的發(fā)展，它更展現(xiàn)出它強(qiáng)大的生命力以及實(shí)效性。 參考文獻(xiàn) [1]北京大學(xué)數(shù)學(xué)系，高等代數(shù)[M],北京：高等教育出版社，2003:178-298 [2]錢吉林,劉丁酉. 高等代數(shù)解題精粹[M].北京:中央民族大學(xué)出版社，2005 [3]蘇育才,姜翠波,張躍輝. 矩陣?yán)碚揫M]. 北京：科學(xué)出版版社,2006:162- 165. [4]王品超.高等代數(shù)新方法（下）[M].徐州：中國礦業(yè)大學(xué)出版社.2003

26、 [5]李桂榮.高等代數(shù)的方法研究[M].香港亞太經(jīng)濟(jì)出版社，2001 [6]Farkas L,Farkas.線性代數(shù)引論[M],北京：人民教育出版社，1981:101 [7]張侃. 劉寶平. 叢琳.基于加權(quán)最小二乘法的武器裝備批量生產(chǎn)成本費(fèi)用研究[D]. 《中國艦船研究》- 2009, [8]劉丁酉. 矩陣的分析[M].武漢：武漢大學(xué)出版社,2003:50-51. [9]張德豐.MATLAB數(shù)值計(jì)算方法.北京:機(jī)械工業(yè)出版社,2010. [10]肖悠南.現(xiàn)代數(shù)值計(jì)算方法.北京:北京大學(xué)出版社,2010. [11]李慶揚(yáng),王能超,易大義.數(shù)值分析(第4版)[M].北京:清華大學(xué)出

27、版社,2001. [12]宋文臣.True Basic語言程序設(shè)計(jì)[M].北京:電子工業(yè)出版社,1994. [13]趙新那.數(shù)值分析在分析化學(xué)中的應(yīng)用[M].武漢:中南工業(yè)大學(xué)出版社,1987. [14]徐成賢,陳志平,李乃成.近代優(yōu)化方法[M].北京:科學(xué)出版社,2002. [15](美)里德.數(shù)值分析與科學(xué)計(jì)算.北京:清華大學(xué)出版社,2008. [16]（美）約翰遜.數(shù)學(xué)分析與科學(xué)計(jì)算.北京:科學(xué)出版社,2012. [17]畢超. 房地產(chǎn)業(yè)對陜西省經(jīng)濟(jì)的效應(yīng)分析[D]. 西安建筑科技大學(xué), 2008. [18]張碧霞. 數(shù)學(xué)實(shí)驗(yàn)課程教學(xué)改革的探討[J]. 寧德師專學(xué)報(bào)(自然科學(xué)版), 2003(1):67-69. [19]畢海囡. 無線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合技術(shù)研究[D]. 哈爾濱工程大學(xué), 2013. [20]趙明達(dá). 輪胎均勻性參數(shù)測量方法的研究[D]. 青島科技大學(xué), 2009. [21]楊澤勇. 電子萬能材料試驗(yàn)機(jī)測控系統(tǒng)的研究[D]. 北方工業(yè)大學(xué), 2005. [22]司少玲.關(guān)永. 三角函數(shù)曲線數(shù)據(jù)擬合最佳次數(shù)的確定[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2006(24):56-58.