《人工神經網絡與智能算法》由會員分享，可在線閱讀，更多相關《人工神經網絡與智能算法（75頁珍藏版）》請在裝配圖網上搜索。

1、智能算法（Intelligent Algorithm） 2 主 要 內 容q人工神經網絡（Artificial Neural Network，ANN）q模擬退火（Simulated Annealing，SA）q遺傳算法（Genetic Algorithm，GA） 3 人 工 神 經 網 絡 參 考 文 獻q 陳 念 貽 ， 欽 佩 ， 陳 瑞 亮 ， 陸 文 聰 ， 模 式 識 別 方 法 在 化 學 化 工 中 的 應 用 ， 科學 出 版 社 ， 北 京 ， 2000。 q 從 爽 ， 面 向 MATLAB工 具 箱 的 神 經 網 絡 理 論 與 應 用 ， 中 國 科 學 技 術 出

2、版社 ， 合 肥 ， 1998。q 焦 李 成 ， 神 經 網 絡 計 算 ， 西 安 電 子 科 技 大 學 出 版 社 ， 西 安 ， 1993。q 王 永 驥 ， 涂 健 ， 神 經 元 網 絡 控 制 ， 機 械 工 業(yè) 出 版 社 ， 北 京 ， 1998。q Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press. q Carling, A. (1992). Introducing Neural Networks. Wilmslow, UK: Sigma Press.

3、q Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice Hall q Haykin, S. (1994). Neural Networks: A Comprehensive Foundation. New York: Macmillan Publishing. q Patterson, D. (1996). Artificial Neural Networks. Singapore: Prentice Hall. 4 生 物 神 經 元 及 神 經 網 絡神 經 元 對 信 息 的 接 受 和 傳 遞

4、都 是 通 過 突 觸 來 進 行 的 。 單 個 神 經 元 可 以 從 別的 細 胞 接 受 多 個 輸 入 。 由 于 輸 入 分 布 于 不 同 的 部 位 ， 對 神 經 元 影 響 的 比 例(權 重 )是 不 相 同 的 。 另 外 ， 各 突 觸 輸 入 抵 達 神 經 元 的 先 后 時 間 也 不 一 祥 。因 此 ， 一 個 神 經 元 接 受 的 信 息 ， 在 時 間 和 空 間 上 常 呈 現 出 一 種 復 雜 多 變 的 形 式 ， 需 要 神 經 元 對 它 們 進 行 積 累 和 整 合 加 工 ， 從 而 決 定 其 輸 出 的 時 機 和強 度 。 正

5、是 神 經 元 這 種 整 合 作 用 ， 才 使 得 億 萬 個 神 經 元 在 神 經 系 統(tǒng) 中 有 條不 紊 、 夜 以 繼 日 地 處 理 各 種 復 雜 的 信 息 ， 執(zhí) 行 著 生 物 中 樞 神 經 系 統(tǒng) 的 各 種信 息 處 理 功 能 。 多 個 神 經 元 以 突 觸 聯(lián) 接 形 成 了 一 個 神 經 網 絡 。 5 一 、 人 工 神 經 網 絡q 什 么 是 人 工 神 經 網 絡 ？ 它 就 是 在 對 大 腦 的 生 理 研 究 的 基 礎 上 ，用 模 擬 生 物 神 經 元 的 某 些 基 本 功 能 元 件 （ 即 人 工 神 經 元 ） ，按 各 種

6、 不 同 的 聯(lián) 結 方 式 組 織 起 來 的 一 個 網 絡 。q 其 目 的 在 于 模 擬 大 腦 的 某 些 機 理 與 機 制 ， 實 現 某 個 方 面 的 功能 ， 可 以 用 在 模 仿 視 覺 、 模 式 識 別 、 函 數 逼 近 、 模 式 識 別 、分 類 和 數 據 壓 縮 等 領 域 ， 是 近 年 來 人 工 智 能 計 算 的 一 個 重 要學 科 分 支 。q 人 工 神 經 網 絡 有 多 種 形 式 ， 其 中 反 向 傳 播 人 工 神 經 網 絡(Back-Propagation Artificial Network, 簡 稱 BP網 絡 )是 一

7、種 廣泛 使 用 的 神 經 網 絡 模 型 ， 它 充 分 體 現 了 人 工 神 經 網 絡 的 特 點 。BP網 絡 是 一 種 對 非 線 性 可 微 分 函 數 進 行 權 值 訓 練 的 多 層 網 絡 ，在 人 工 神 經 網 絡 的 實 際 應 用 中 ， 80 90 的 人 工 神 經 網 絡模 型 是 采 用 BP網 絡 或 它 的 變 化 形 式 。 6 1.1 BP神 經 網 絡q 神 經 元 的 結 構 神 經 元 是 人 工 神 經 網 絡 的 基 本 處 理 單 元 ， 它 一 般 為 多 輸 入 /單 輸 出 的 非線 性 元 件 。 神 經 元 輸 出 除 受

8、 輸 入 信 號 的 影 響 外 ， 還 受 神 經 元 內 部 其 它因 素 的 制 約 ， 因 此 在 人 工 神 經 元 的 建 模 中 ， 常 常 加 一 額 外 輸 入 信 號 ，稱 為 偏 差 (bais)， 并 取 值 為 1。 輸 入 分 量權 值 分 量 神 經 元 的 輸 出 偏 差 權 值 激 活 函 數 輸 入 分 量 通 過 與 它 相 乘 的 權 值 分 量相 連 ， 求 和 后 與 偏 差 權 值 共 同 構 成激 活 函 數 的 輸 入 。 )( 1 bpwfa jrj j 7 偏 差神 經 元 的 輸 出 為 ： )( 1 bpwfa jrj j 偏 差 b被

9、 簡 單 地 加 在 jrj jwp1 上 ， 作 為 激 活 函 數 的 一 個 輸 入 分 量 。偏 差 的 重 要 作 用 ， 它 使 得 激 活 函 數 的 圖形 可 以 左 右 移 動 ， 這 樣 可 增 加 網 絡 解 決問 題 的 能 力 。 8 激 活 函 數q 激 活 函 數 具 有 模 擬 生 物 神 經 元 的 非 線 性 特 性 。 Sigmoid函 數 ： 雙 曲 正 切 tanh函 數 ：xexf 1 1)( xx xx ee eexf )(Sigmoid函 數 和 雙 曲 正 切 tanh函 數 都 是 單 調 上 升 函 數 ， 其 極 值 分 別 為 0、 1

10、和 1、 1， 且 都 是 可 微 的 。 9 激 活 函 數 的 一 階 導 數q 在 BP神 經 網 絡 訓 練 算 法 中 ， 要 用 到 激 活 函 數 的 一 階 導 數 。 Sigmoid函 數 的 導 數 ： 雙 曲 正 切 tanh函 數 的 導 數 ： )(1)(1 111 1)( xfxfeexf xx )(11)( 22 xfee eexf xx xx q 由 此 可 以 看 出 ， 由 于 激 活 函 數 的 特 點 ， 用 神 經 網 絡 計 算 時 ，需 對 輸 入 和 輸 出 的 值 進 行 調 整 。 激 活 函 數 是 采 用 Sigmoid函 數 時 ， 輸

11、 入 和 輸 出 的 值 應在 0,1之 間 ； 激 活 函 數 是 雙 曲 正 切 tanh函 數 時 ， 輸 入 和 輸 出 的 值 范圍 則 在 1,1之 間 。 10 1.2 BP網 絡 的 模 型 結 構 q BP網 絡 是 一 種 在 輸 入 層 和 輸 出 層 之 間 具 有 一 層 或 多 層 隱 層 的網 絡 模 型 ， 而 其 典 型 的 結 構 為 有 一 隱 層 、 包 含 輸 入 層 和 輸 出層 的 三 層 網 絡 模 型 。 典 型 BP網 絡 的 結 構 示 意 圖 如 下 ：網 絡 的 輸 入 模 式向 量 為 P， 有 r個輸 入 神 經 元 ， 對應 輸

12、入 模 式 向 量的 每 個 元 素 。 隱 層 內 有 s1個 神經 元 ， 對 應 隱 層輸 出 是 a1。 網 絡 的 輸 出 為 a2，有 s2個 神 經 元 ，而 目 標 輸 出 為 T。 三 層 BP神 經 網 絡 不 同 層 神 經 元 之 間 實 現 權 重 連 接 ， 而 每 層 內 各 個 神 經 元 之 間 不 連 接 。 11 BP網 絡 的 四 個 計 算 過 程q 輸 入 模 式 由 輸 入 層 經 隱 含 層 向 輸 出 層 的“ 模 式 正 向 傳 播 ” 過 程 ； （ 神 經 元 的 激 活值 從 輸 入 層 經 隱 含 層 向 輸 出 層 傳 播 ， 在

13、輸出 層 各 神 經 元 獲 得 網 絡 響 應 。 ）q 網 絡 實 際 輸 出 與 希 望 輸 出 的 誤 差 信 號 由 輸出 層 經 隱 含 層 向 輸 入 層 逐 層 修 正 連 接 權 和閡 值 的 “ 誤 差 反 向 傳 播 ” 過 程 ；q 由 “ 模 式 正 向 傳 播 ” 過 程 與 “ 誤 差 反 向 傳播 ” 過 程 的 反 復 交 替 進 行 的 網 絡 學 習 訓 練過 程 ；q 網 絡 全 局 誤 差 趨 向 極 小 的 學 習 收 斂 過 程 。（ 網 絡 對 輸 入 模 式 響 應 的 正 確 率 也 不 斷 增 加 。 ） 12 BP網 絡 的 計 算 過

14、程 的 簡 單 描 述 （ 1） ri jbijij bwpwfa 1 )11(11 1,2,1 sj 11 )212(22 sj kbjkjk bwawfa 2,2,1 sk q 模 式 正 向 傳 播 過 程 隱 含 層 中 第 j個 神 經 元 的 輸 出 為 ： 輸 出 層 中 第 k個 神 經 元 的 輸 出 為 ：q 誤 差 反 向 傳 播 過 程定 義 誤 差 函 數 為 ： 21 2)2(21 sk kk atE神 經 網 絡 學 習 的 過 程 就 是 通 過 調 整 權 值 ， 使 誤 差 E最 小 ，此 時 可 利 用 最 速 下 降 法 求 權 值 及 誤 差 的 反

15、向 傳 播 。 13 BP網 絡 的 計 算 過 程 的 簡 單 描 述 （ 2） 隱 含 層 中 第 j個 神 經 元 的 輸 出 的 權 值 變 化 為 ： jkkkjkkkjkj afatwaaEwEw 12)2(22222 2)2(222 fatwaaEwEw kkkbkkkbkb 對 第 i個 輸 入 到 隱 含 層 中 第 j個 神 經 元 輸 出 的 權 值 變 化 為 ： ikjsk kkjijjkkjiji pfwfatwaaaaEwEw 122)2(1112211 21 122)2(1122 21 fwfatwaaaaEwEw kjsk kkjbjjkkjbjb 修 正 后

16、 的 新 權 重 調 整 為 ： pnpnp WWW 1 稱 為 學習 系 數 ，值 在 0,1之 間 。 14 加 快 BP網 絡 訓 練 速 度 的 方 法 q BP網 絡 得 到 了 廣 泛 的 應 用 ， 但 也 存 在 自 身 的 不 足 與 限 制 ， 主要 表 現 在 網 絡 訓 練 需 較 長 時 間 和 網 絡 有 可 能 達 到 局 部 最 小 。據 此 ， BP網 絡 有 各 種 改 進 方 法 ， 以 加 快 訓 練 速 度 ， 避 免 陷 入局 部 極 小 。q 主 要 的 改 進 方 法 有 ： 增 加 動 量 項 ， 以 平 滑 權 的 變 化 ， 一 種 常 用

17、 形 式 是 ： )( 11 npnppnpnp WWWWW 為 動 量 因 子 ， 值 在 0,1之 間 ， n為 迭 代 次 數 。 采 用 二 階 學 習 算 法 。 前 面 的 基 于 函 數 梯 度 的 算 法 屬 于 一 階算 法 ， 缺 點 就 是 在 極 值 點 附 近 收 斂 速 度 慢 。 采 用 二 階 算 法 ，如 牛 頓 法 、 共 軛 梯 度 法 等 ， 將 有 較 快 的 收 斂 速 度 。 模 擬 退 火 法 。 15 1.4 BP神 經 網 絡 計 算 （ 1） q 網 絡 的 層 數 ： 在 運 用 BP神 經 網 絡 時 ， 最 多 采 用 的 是 具 有

18、 一 層 或 兩 層 隱 層 的 網 絡 。 具 有 偏 差 和 至 少 一 個 S型 隱 層 的 網 絡 ， 可 以 近 似 任 何 函 數 ， 這 已 成 為 設計 BP神 經 網 絡 的 原 則 。 網 絡 計 算 精 度 的 提 高 ， 可 以 通 過 采 用 一 個 隱 層 ， 而 增 加 隱 層 神 經 元 數的 方 法 來 獲 得 ， 這 也 就 是 通 常 用 一 隱 層 、 包 含 輸 入 層 和 輸 出 層 的 三 層BP網 絡 模 型 的 原 因 。q 神 經 元 數 ： 輸 入 和 輸 出 的 神 經 元 數 可 以 根 據 需 要 求 解 的 問 題 和 數 據 所

19、表 示 的 方 式來 確 定 。 問 題 確 定 后 ， 輸 入 層 與 輸 出 層 的 神 經 元 數 也 就 隨 之 定 了 。 隱 層 神 經 元 數 的 選 擇 有 較 廣 的 范 圍 ： 當 隱 層 神 經 元 數 較 少 時 ， 誤 差 下 降 到 一 定 程 度 后 會 變 化 很 小 ； 當 隱 層 神 經 元 數 過 多 時 ， 不 僅 網 絡 訓 練 時 間 長 ， 還 會 出 現 過 擬 合 問 題 ， 降低 神 經 網 絡 的 預 測 功 能 。 通 常 隱 層 神 經 元 數 的 選 擇 原 則 是 ： 在 能 解 決 問 題 的 前 提 下 ， 再 加 上 1到2個

20、 神 經 元 以 加 快 誤 差 的 下 降 速 度 即 可 。 16 BP神 經 網 絡 計 算 （ 2）q 初 始 權 值 的 選 取 權 重 初 始 值 的 選 取 ， 對 網 絡 訓 練 學 習 是 否 達 到 局 部 最 小 ， 是 否 能 夠 收斂 以 及 訓 練 時 間 的 長 短 有 很 大 的 關 系 。 如 果 初 始 權 值 太 大 ， 使 得 加 和 后 的 值 落 在 激 活 函 數 的 飽 和 區(qū) ， 從 而 導致 激 活 函 數 的 導 數 非 常 小 ， 在 計 算 權 值 修 正 時 ， 調 整 值 接 近 零 ， 網 絡的 學 習 訓 練 幾 乎 處 在 停

21、 止 狀 態(tài) 。 所 以 一 般 總 是 希 望 經 過 初 始 權 值 計 算 后 每 個 神 經 元 的 輸 出 值 都 接 近 零 ，這 樣 可 以 保 證 每 個 神 經 元 的 權 值 都 能 在 激 活 函 數 變 化 最 大 之 處 進 行 調節(jié) 。 一 般 來 說 ， 初 始 權 值 取 -1,1之 間 的 隨 機 數 是 較 好 的 選 擇 。 17 BP神 經 網 絡 計 算 （ 3）q 學 習 速 率 學 習 速 率 決 定 每 一 次 循 環(huán) 訓 練 中 所 產 生 的 權 值 變 化 量 。 大 的 學 習 速 率 可 能 導 致 系 統(tǒng) 的 不 穩(wěn) 定 ； 但 小

22、的 學 習 速 率 導 致 較 長 的 訓 練 時 間 ， 可 能 收 斂 很 慢 ， 不 過 能 保 證 網 絡的 誤 差 值 不 跳 出 誤 差 表 面 的 低 谷 而 最 終 趨 于 最 小 誤 差 值 。 所 以 在 一 般 情 況 下 ， 傾 向 于 選 取 較 小 的 學 習 速 率 以 保 證 系 統(tǒng) 的 穩(wěn) 定 性 。學 習 速 率 的 選 取 范 圍 在 0.010.8之 間 。 在 一 個 神 經 網 絡 的 計 算 過 程 中 ， 使 網 絡 經 過 幾 個 不 同 的 學 習 速 率 的 訓練 ， 通 過 觀 察 每 一 次 訓 練 后 的 誤 差 平 方 和 的 下

23、降 速 率 來 判 斷 所 選 定 的學 習 速 率 是 否 合 適 。 如 果 誤 差 平 方 和 下 降 很 快 ， 則 說 明 學 習 速 率 合 適 若 誤 差 平 方 和 出 現 振 蕩 現 象 ， 則 說 明 學 習 速 率 過 大 。 對 于 每 一 個 具 體 網 絡 都 存 在 一 個 合 適 的 學 習 速 率 。 但 對 于 較 復 雜 網 絡 ，在 誤 差 曲 面 的 不 同 部 位 可 能 需 要 不 同 的 學 習 速 率 。 為 了 減 少 尋 找 學 習速 率 的 訓 練 次 數 以 及 訓 練 時 間 ， 比 較 合 適 的 方 法 是 采 用 變 化 的 學

24、 習 速率 ， 使 網 絡 的 訓 練 在 不 同 的 階 段 自 動 設 置 不 同 學 習 速 率 的 大 小 。 18 BP神 經 網 絡 計 算 程 序 BATCHNET簡 介q BATCHNET是 一 個 BP神 經 網 絡 計 算 的 DOS程 序 ， 程 序 由batchnet.exe和 weights.exe兩 個 可 執(zhí) 行 文 件 構 成 。 batchnet為 網 絡 訓 練 和 預 測 程 序 ， 激 活 函 數 為 Sigmoid函 數 ， 輸 入 輸 出樣 本 值 范 圍 為 0,1。 weights程 序 產 生 初 始 權 值 。q 批 處 理 程 序 demo

25、.bat batchnet -e10 d1.0e-5 demo.run 說 明 ：-e10 表 示 網 絡 每 迭 代 10步 后 顯 示 誤 差 ；d1.0e-5 表 示 網 絡 訓 練 誤 差 ；demo.run 求 解 問 題 的 網 絡 參 數 文 件 ， 由 batchnet調 用 ， 文 件 名 可 改 ， 但 擴 展 名 run不 能 變 。 19 BP神 經 網 絡 計 算 程 序 BATCHNET簡 介q 網 絡 參 數 文 件 demo.run的 格 式 4 train.out train.err train.pat weights.wts train.wts 100 10

26、00 9 4 2 0.15 0.075test.out test.err test.pat train.wts test.wts 166 1 9 4 2 0.15 0.075train.out train.err train.pat train.wts train.wts 100 1000 9 4 2 0.15 0.075test.out test.err test.pat train.wts test.wts 166 1 9 4 2 0.15 0.075 NumfOut fErr fPat fWts fWtso nPats nIter nInp nHid nOut eta alphaNum

27、運行次數，本例為4； fOut 網絡計算結果輸出文件，輸出； fErr 網絡計算誤差文件，輸出；fPat 訓練學習樣本文件，輸入；fWts 問題的初始權值文件，輸入，由程序weights產生；fWtso 訓練后的權值文件，輸出；nPats 訓練樣本數，本例為100；nIter 訓練迭代次數，本例為1000；nInp 輸入層神經元數目，本例為9；nHid 隱層神經元數目，本例為4；nOut 輸出層神經元數目，本例為2；eta 學習速率，本例為0.15；alpha 動量因子，本例為0.075。 表 示 用 BP神 經 網 絡 先 對 100對 輸入 輸 出 樣 本 進 行 學 習 訓 練 1000

28、次 ，預 測 166個 樣 本 一 次 ， 然 后 繼 續(xù)學 習 訓 練 1000次 后 再 進 行 一 次 預測 。 Batchnet如 只 計 算 一 次 ， 則不 對 連 接 權 重 進 行 更 新 。 20 BP神 經 網 絡 計 算 程 序 BATCHNET簡 介q 程 序 weights的 運 行 :weights int_num nInp nHid nOut ran_wts 說 明 ：int_num 任 一 6位 整 數 ；nInp 輸 入 層 神 經 元 數 目 ；nHid 隱 層 神 經 元 數 目 ；nOut 輸 出 層 神 經 元 數 目 ， 這 3個 參 數 同 run

29、程 序 中 的相 一 致 ；ran_wts 初 始 權 值 取 值 范 圍 ， 實 數 1.表 示 取 值 范 圍在 -1,1之 間 。 Weights 123456 9 4 2 1.0 21 BP神 經 網 絡 計 算 程 序 BATCHNET簡 介q 訓 練 樣 本 文 件 fPat的 格 式 ： 說 明 ：In_pat 樣 本 的 輸 入 ；Out_pat 對 應 的 樣 本 輸 出 ；Id 對 應 的 樣 本 標 號 ； In_pat Out_pat Id0.363636 0.191667 0.7 0.75 0.666667 0.531225 0.0898333 0.0504219 0

30、.6844341 0 1234567 0.327273 0.187501 0.733333 0.75 0.8 0.531038 0.0819442 0.0504219 0.8010571 0 1234567 22 STATISTICA Neural Networks (SNN) 簡 介q 通 過 輸 入 數 值 變 量 (自 變 量 )可 以 用 神 經 網 絡 來 計 算 輸 出 變 量(應 變 量 )， 輸 出 變 量 的 類 型 可 以 是 數 值 型 的 ， 也 可 以 是 非 數 值型 的 。 q 在 SNN中 ， 求 解 問 題 可 通 過 兩 種 基 本 方 式 來 進 行 ：

31、智 能 問 題求 解 器 (Intelligent Problem Solver) 或 程 序 的 菜 單 。 智 能 問 題 求 解 器 引 導 使 用 者 建 立 求 解 問 題 的 神 經 網 絡 。 在 智 能 問 題 求解 器 中 ， 有 基 本 型 和 高 級 型 兩 種 模 式 可 供 選 擇 。 基 本 型 中 ， 使 用 者 只 能 控 制 設 計 神 經 網 絡 中 的 幾 個 關 鍵 點 ， 包 括 問 題類 型 (樣 本 相 互 獨 立 的 標 準 型 和 變 量 預 測 值 依 賴 先 前 值 的 時 間 序 列 )、輸 出 和 輸 入 變 量 、 求 解 器 篩 選

32、 優(yōu) 化 網 絡 的 計 算 時 間 控 制 、 在 網 絡 設 置中 需 保 存 的 網 絡 情 況 以 及 需 顯 示 的 結 果 與 統(tǒng) 計 ， 其 余 的 網 絡 設 計 及 計算 由 求 解 器 自 動 完 成 。 基 本 型 供 對 神 經 網 絡 計 算 了 解 不 多 者 使 用 。 高 級 型 中 ， 使 用 者 能 控 制 設 計 神 經 網 絡 的 各 方 面 ， 包 括 網 絡 訓 練 、 校驗 、 測 試 時 所 用 數 據 的 分 割 、 置 信 度 的 類 型 選 擇 、 選 擇 需 產 生 網 絡 的類 型 及 復 雜 程 度 等 ， 供 對 神 經 網 絡 計

33、 算 較 熟 悉 者 使 用 。 23 SNN中 的 神 經 網 絡 方 法 q 多 層 網 絡 (Multilayer Perceptrons)；q 徑 向 基 函 數 網 絡 (Radial Basis Function Networks)；q 概 率 神 經 網 絡 (Probabilistic Neural Networks)；q 通 用 回 歸 神 經 網 絡 (Generalized Regression Neural Networks)；q 線 性 網 絡 (Linear Networks)；q Kohonen網 絡 (Kohonen Networks)； q 神 經 網 絡 的

34、 時 間 序 列 預 測 (Time Series Prediction)。 24 SNN菜 單 命 令 匯 總 25 SNN處 理 數 據 需 要 注 意 的 兩 個 問 題 q 數 據 的 前 處 理 與 后 處 理 在 處 理 實 際 問 題 的 數 據 時 ， 數 據 要 進 行 勻 整 處 理 ， 這 樣 的 處 理 包 括 計算 前 和 計 算 后 的 處 理 。 神 經 網 絡 計 算 用 的 數 據 類 型 應 該 是 數 值 型 的 ， 當 有 些 問 題 的 變 量 是 多態(tài) 的 情 況 ， 如 對 與 錯 等 ， 這 些 變 量 在 用 神 經 網 絡 處 理 時 ， 也

35、 需 將 其 數值 化 。 在 SNN中 有 Pre/post processing， 可 處 理 這 些 數 據 的 變 換 問 題 ， 有 時 還可 以 用 Options菜 單 中 的 STATISTICA Transfer， 使 數 據 直 接 在STATISTICA中 處 理 。q 過 擬 合 問 題 在 用 多 項 式 擬 合 數 據 時 ， 就 會 出 現 過 擬 合 的 情 況 。 一 個 低 階 多 項 式 可能 做 不 到 很 好 地 擬 合 所 有 的 數 據 點 ， 而 一 個 高 階 的 則 可 能 做 到 ， 但 實 際 上 沒 有 反 映 問 題 的 性 質 。

36、26 SNN處 理 過 擬 合 的 方 法q 神 經 網 絡 計 算 有 同 樣 的 問 題 ， 隱 層 神 經 元 數 太 少 ， 不 能 很 好地 描 述 問 題 ， 神 經 元 數 過 多 ， 會 出 現 過 擬 合 ， 因 較 大 的 神 經網 絡 總 能 使 誤 差 減 小 。q 解 決 過 擬 合 的 辦 法 之 一 是 用 交 替 有 效 法 (Cross-verification)。一 些 訓 練 用 樣 本 不 參 加 神 經 網 絡 的 學 習 訓 練 ， 而 是 獨 立 地 在訓 練 學 習 過 程 中 用 來 校 驗 。q 當 校 驗 誤 差 出 現 同 訓 練 學 習

37、 誤 差 不 一 樣 的 情 況 ， 即 不 是 隨 著訓 練 學 習 的 進 行 ， 訓 練 誤 差 不 斷 減 小 ， 反 而 停 止 下 降 ， 開 始升 高 ， 表 明 網 絡 有 過 擬 合 數 據 的 情 況 ， 這 時 應 減 少 隱 層 神 經元 數 。 q 在 SNN中 智 能 問 題 求 解 器 具 有 自 動 選 擇 隱 層 神 經 元 數 的 功 能 。 27 SNN的 求 解 過 程q 在 神 經 網 絡 的 研 究 和 計 算 中 ， 常 能 見 到 異 或 問 題 的 求 解 與 討論 。 這 里 以 異 或 問 題 的 求 解 為 例 介 紹 SNN的 求 解

38、過 程 ， 并 對SNN智 能 問 題 求 解 器 中 的 各 項 選 擇 作 一 說 明 。FIRSTSECONDXOR000101011110異 或 問 題 兩 個 輸 入 變 量 為 二進 制 的 數 ， 其 可 能 的 取 值 及期 望 輸 出 如 右 表 所 示 ：異 或 問 題 看 起 來 簡 單 ， 但 具有 復 雜 的 特 征 ， 它 不 是 線 性可 分 的 ， 即 不 可 能 有 一 直 線使 同 類 在 線 的 一 邊 ， 如 右 圖 所 示 ： 28 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 1： 建 立 上 述 的 數 據 文 件 輸 入

39、變 量 類 型（Input or Output ）樣 本 分 組 （ Training、 Verification 、 Testing ） 29 q Step 2： 選 擇 求 解 問 題 方 式 問 題 類 型 （ Basic or Advanced） ，選 擇 “ Advanced” 。 30 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 3： 選 擇 問 題 類 型 （ Problem Type） ， 選 擇 “ Standard ” 。 31 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 4： 選 擇 輸 出 變 量 （ Output V

40、ariable Selection ） ， 選 擇XOR變 量 作 為 輸 出 變 量 。 32 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 5： 選 擇 輸 入 變 量 （ Input Variable Selection ） ， 選 擇 變量 FIRST, SECOND作 為 輸 入 變 量 。 并 關 閉 選 項 “ Search for an effective subset ” 。 33 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 6： 樣 本 分 組 （ Division of cases ） 。 控 制 訓 練（ Trainin

41、g） 、 檢 驗 （ Verification） 和 測 試 （ Testing） 樣 本 的大 小 。采 用 自 定 義 分組 樣 本 34 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 7： 選 擇 網 絡 類 型 （ Type of Network ） 。 為 比 較 網 絡 ， 幾種 網 絡 都 選 ， 即 線 性 、 徑 向 基 函 數 (RBF)、 通 用 回 歸 神 經 網 絡(GRNN)、 三 層 和 四 層 MLP 。 35 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 8： 控 制 網 絡 隱 層 數 目 （ Hidden U

42、nits ） 。 選 擇“ Determine network complexity automatically”自 動 確 定 網 絡復 雜 性 ， 忽 略 數 值 選 定 。 36 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 9： 網 絡 設 計 過 程 （ Duration of Design Process ） 。 選 擇完 全 “ Thorough”項 。 37 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 10： 希 望 保 存 最 佳 網 絡 和 在 網 絡 確 定 過 程 中 增 加 網 絡 大小 （ Saving Networ

43、ks ） 。 選 擇 “ Keep networks” 和“ Increase ”項 。 38 SNN中 的 智 能 問 題 求 解 器 使 用 步 驟q Step 11： 結 果 顯 示 （ Results Shown ） 。 選 擇 列 表 樣 本 結 果“ Datasheet”和 統(tǒng) 計 結 果 匯 總 “ Overall”。 SNN計 算 完 成后 ， 給 出 多 種 結 果 。 39 SNN的 求 解 異 或 問 題 的 結 果Data Set Editor給出 了 訓 練樣 本 。 Run Data Set是 訓 練結 果 ， 有 目 標 值 、計 算 值 和誤 差 。 Regre

44、ssion Statistics是最 優(yōu) 網 絡 計 算 的 統(tǒng) 計 結果 。 Network Set Editor則 是智 能 問 題 求解 器 所 用 的各 種 網 絡 的計 算 結 果 。Network Illustration則 是 最 優(yōu) 網絡 的 圖 示 。 40 SNN的 求 解 異 或 問 題 的 結 果q 計 算 結 果 表 明 了 多 層 網 絡 的 隱 層 神 經 元 數 為 5時 ， 計 算 的 誤 差已 達 10-5， 可 以 用 來 描 述 異 或 問 題 。q 是 否 還 有 描 述 異 或 問 題 更 好 的 網 絡 結 構 呢 ？q 隱 層 數 為 4的 RB

45、F網 絡 ， 計 算 異 或 問 題 的 誤 差 達 到 10-15， 比 隱層 神 經 元 數 為 5的 多 層 網 絡 的 計 算 誤 差 要 小 10個 數 量 級 ， 完 全描 述 了 異 或 問 題 。 41 1.4 關 于 ANN的 進 一 步 說 明q選 用 合 適 的 學 習 訓 練 網 絡 樣 本 、 優(yōu) 化 網 絡 結 構 、 采用 適 當 的 學 習 訓 練 方 法 就 能 得 到 包 含 學 習 訓 練 樣 本范 圍 的 輸 入 與 輸 出 關 系 。q如 果 用 于 學 習 訓 練 的 樣 本 不 能 充 分 反 映 體 系 的 特 性 ，用 ANN也 不 能 很 好

46、 的 描 述 與 預 測 體 系 ， 所 以 有 “垃 圾進 ， 垃 圾 出 ； 金 子 進 ， 金 子 出 ” 之 說 。q確 定 性 模 型 的 參 數 回 歸 與 ANN之 類 的 非 確 定 性 模 型的 不 同 特 點 。 42 確 定 性 模 型 與 非 確 定 性 模 型 的 比 較q確 定 性 模 型 的 參 數 回 歸 的 特 點 ： 自 變 量 與 因 變 量 之 間 有 明 確 的 函 數 關 系 ， 具 有 未 知 數 值 的參 數 ， 需 要 通 過 自 變 量 與 因 變 量 的 數 據 組 樣 本 來 回 歸 估 計 ，而 且 參 數 個 數 通 常 較 少 ，

47、具 有 明 確 的 物 理 意 義 。qANN之 類 的 非 確 定 性 模 型 的 特 點 ： 無 須 針 對 問 題 提 出 明 確 的 自 變 量 與 因 變 量 之 間 的 函 數 關 系 ，而 函 數 關 系 用 含 有 眾 多 自 由 參 數 的 模 型 回 歸 擬 合 ， 但 自 由參 數 無 明 確 的 物 理 意 義 。q因 此 ， 確 定 性 模 型 回 歸 的 主 要 目 標 是 得 到 模 型 的 參數 值 。 而 非 確 定 性 模 型 計 算 的 主 要 目 標 是 得 到 輸 入與 輸 出 的 關 系 。 43 二 、 模 擬 退 火 法 （ Simulated

48、Annealing）q 人 工 神 經 網 絡 方 法 是 用 某 種 目 標 函 數 的 全 局 極 小 作 為 算 法 搜索 和 網 絡 所 要 達 到 的 目 標 。 在 學 習 或 運 行 過 程 中 ， 網 絡 的 誤差 總 是 按 其 梯 度 下 降 的 方 向 變 化 。 當 梯 度 趨 于 零 時 ， 網 絡 的學 習 或 運 行 就 停 止 了 ， 所 以 這 種 算 法 往 往 會 陷 入 局 部 最 小 而達 不 到 全 局 最 小 。q 導 致 網 絡 陷 入 局 部 最 小 的 主 要 原 因 是 網 絡 誤 差 按 單 方 向 減 少 ，沒 有 上 升 的 過 程

49、。 如 果 將 誤 差 的 減 少 過 程 由 “ 總 是 按 梯 度 下降 的 方 向 變 化 ” 改 為 “ 大 部 分 情 況 下 按 梯 度 下 降 的 方 向 變化 ” ， 而 有 時 按 梯 度 上 升 的 方 向 變 化 ， 這 樣 就 有 可 能 跳 出 局部 最 小 而 達 到 全 局 最 小 (下 圖 給 出 了 梯 度 下 降 法 (a)和 SA方 法 (b)搜 索 途 徑 )。 模 擬 退 火 算法 的 基 本 思想 44 模 擬 退 火 法 的 起 源q SA算 法 是 受 金 屬 冷 卻 過 程 的 啟 發(fā) ， 最 早 由 Metropolis于 1953年 提 出

50、 來 的 。 它 具 有 靈 活 有 效 ， 能 對 問 題 進 行 全 局 優(yōu) 化 。q 金 屬 中 原 子 的 能 量 與 溫 度 有 關 。 原 子 能 量 高 的 時 候 ， 有 能 力擺 脫 其 原 來 的 能 量 狀 態(tài) 而 最 后 達 到 一 個 更 加 穩(wěn) 定 的 狀 態(tài) 全 局 極 小 能 量 狀 態(tài) 。q 金 屬 固 體 進 行 退 火 處 理 時 ， 通 常 先 將 它 加 熱 熔 化 ， 然 后 逐 漸降 低 溫 度 。 在 凝 固 點 附 近 ， 若 溫 度 下 降 的 速 度 足 夠 慢 ， 則 固體 物 質 會 形 成 能 量 最 低 的 穩(wěn) 定 狀 態(tài) 。 其

51、中 的 金 屬 粒 子 都 經 歷能 量 由 高 到 低 、 暫 時 由 低 到 高 、 最 終 趨 向 低 能 態(tài) 的 過 程 。 q 在 金 屬 的 退 火 過 程 中 ， 能 量 的 狀 態(tài) 分 布 ： kTEexpP(E) P(E)系 統(tǒng) 處 于 具 有 能 量 E的 狀 態(tài)的 概 率 ；kBoltzmann常 數 ；T系 統(tǒng) 的 絕 對 溫 度 (Kelvin) 45 模 擬 退 火 優(yōu) 化 法q SA算 法 將 優(yōu) 化 問 題 與 統(tǒng) 計 物 理 學 中 的 熱 平 衡 問 題 進 行 類比 ， 即 將 統(tǒng) 計 物 理 學 處 理 金 屬 固 體 冷 卻 的 熱 平 衡 方 法 用

52、 于優(yōu) 化 問 題 。 q 目 標 函 數 能 量 函 數q 優(yōu) 化 參 數 的 狀 態(tài) 空 間 物 質 的 微 觀 狀 態(tài) q 人 工 溫 度 T一 個 初 值 較 大 的 控 制 參 數q 依 據 網 絡 的 能 量 來 決 定 控 制 參 數 的 調 整 量 （ 稱 為 步 長 ） 。當 T較 大 時 ， 目 標 函 數 值 由 低 向 高 變 化 的 可 能 性 較 大 ； 而 T減 小 ， 這 種 可 能 性 也 隨 之 減 小 。q 與 金 屬 的 退 火 過 程 （ Annealing） 非 常 相 似 。 當 控 制 參 數 T下 降 到 一 定 程 度 時 ， 目 標 函 數

53、 將 收 斂 于 最 小 值 。 模 擬 退 火 優(yōu) 化 算 法 的 基 本 思 想 46 模 擬 退 火 優(yōu) 化 法q 計 算 機 模 擬 某 一 溫 度 T下 物 質 體 系 熱 平 衡 狀 態(tài) 的 方 法 ：Step 1： 隨 機 選 擇 一 個 初 始 微 觀 狀 態(tài) i作 為 當 前 狀 態(tài) ， 其 相應 的 能 量 為 Ei。Step 2：從 狀 態(tài) i作 隨 機 擾 動 ， 產 生 一 新 的 狀 態(tài) j， 其 相 應 的能 量 為 Ej， 計 算 能 量 增 量 E=Ei Ej。Step 3：如 果E0， 則 接 受 狀 態(tài) j作 為 當 前 狀 態(tài) ， 即 j i；若E0 ，

54、 計 算 基 于 Boltzmann分 布 函 數 的 比 值 ：)/exp(/ kTEBBr ij 其 中 :Boltzmann分 布 函 數 kTEi ieTZB /)(1 i kTEieTZ /)(k為 Boltzmann常 數 10 r取 (0,1)之 間 的 一 個 隨 機 數 p， 若 r p， 則 接 受 狀 態(tài) j作 為 當前 狀 態(tài) ， 即 ji ； 否 則 ， 保 持 原 來 的 狀 態(tài) i。 47 模 擬 退 火 優(yōu) 化 法q從 Boltzmann分 布 函 數 的 比 值 (即 8.3.15式 )可 看 出 ，溫 度 高 時 大 ， 相 應 kT也 較 大 ， 接 受

55、與 當 前 狀 態(tài) 能差 較 大 的 新 狀 態(tài) 的 概 率 大 ； 降 低 溫 度 ， r較 小 ， 只能 接 受 能 差 較 小 的 新 狀 態(tài) 。 因 此 不 斷 降 低 溫 度 ，體 系 最 終 能 達 到 能 量 最 低 熱 平 衡 狀 態(tài) 。 Step 4： 重 復 第 二 、 三 步 ， 在 大 量 的 能 量 狀 態(tài) 變 化 后 ， 系統(tǒng) 處 于 能 量 較 低 的 平 衡 態(tài) 。 降 低 溫 度 T再 重 復 上 述 過 程 ， 體系 又 處 在 能 量 更 低 的 平 衡 態(tài) 。 48 SA基 本 算 法 的 步 驟 與 框 圖q 首 先 進 行 初 始 化 ， 任 意 給

56、 定 初 始態(tài) X0 ， 取 參 數 初 值 T0 ， 計 算 優(yōu) 化目 標 函 數 E0 ， 然 后 按 下 進 行 ： （ 1） 隨 機 產 生 擾 動 態(tài) Xi， 計 算 E=Ei E0 ; （ 2） 若 E 0 ， 轉 到 (4)。 否 則在 (0,1)之 間 的 一 個 隨 機 數 p; （ 3） 若 exp( E/T) p ， 轉 (5) ; （ 4） 用 X i代 替 X0 ， E0 + E代 替E0 ； （ 5） 以 某 種 方 式 取 Ti T0， 如 Ti =T0； （ 6） SA計 算 過 程 是 否 結 束 ， 是就 停 止 ， 否 則 就 轉 到 (1)。 49 SA

57、算 法 的 控 制SA算 法 能 否 達 到 目 標 函 數 的 最 小 值 ， 主 要 取 決 于 控 制 參 數 的初 值 是 否 足 夠 高 和 其 下 降 得 是 否 慢 ， 因 此 注 意 有 關 控 制 參 數的 選 取 問 題 。 對 于 參 數 初 值 T0 ， 常 用 的 處 理 方 法 之 一 是 在 均勻 地 隨 機 抽 樣 X0后 ， 取 的 E0方 差 作 為 T0 。 對 于 降 溫 策 略 Ti =T0 ， 0 1， 常 取 0.85,0.96。qSA算 法 的 使 用 可 以 參 考 教 材 P257（ FORTRAN程 序 ）q 用 SA擬 合 丙 烷 絲 光

58、 沸 石 體 系 在 303 K時 的 吸 附 平 衡 數 據和 模 型 。 50 三 、 遺 傳 算 法 (Genetic Algorithm) q 遺 傳 算 法 是 一 種 模 擬 自 然 選 擇 和 遺 傳 的 隨 機 搜 索 算 法 。 它 最初 由 Holland在 1975年 提 出 的 ， 研 究 自 然 系 統(tǒng) 的 適 應 過 程 和 設計 具 有 自 適 應 性 能 的 軟 件 。q 遺 傳 算 法 的 基 本 形 式 是 用 染 色 體 來 表 示 參 數 空 間 的 編 碼 ， 用適 應 度 函 數 來 評 價 染 色 體 群 體 的 優(yōu) 劣 ， 通 過 遺 傳 操 作

59、 產 生 新的 染 色 體 ， 并 用 概 率 來 控 制 遺 傳 操 作 。q 遺 傳 算 法 是 一 種 非 線 性 方 法 ， 它 具 有 簡 潔 、 靈 活 、 高 效 和 全局 優(yōu) 化 的 特 性 ， 在 過 程 控 制 、 系 統(tǒng) 診 斷 、 非 線 性 擬 合 與 優(yōu) 化 、人 工 智 能 等 工 程 和 研 究 領 域 都 得 到 了 廣 泛 的 應 用 。 51 遺 傳 算 法 基 礎q 遺 傳 算 法 是 一 種 迭 代 算 法 ， 它 在 每 一 次 迭 代 時 都 擁 有 一 組 解(父 代 染 色 體 群 體 )， 這 組 解 答 最 初 是 隨 機 生 成 的 。q

60、 在 每 次 迭 代 時 ， 首 先 保 持 解 ， 然 后 染 色 體 群 體 經 過 遺 傳 操 作(選 擇 、 雜 交 、 變 異 等 )， 生 成 新 的 組 解 (子 代 染 色 體 群 體 )。 每個 解 都 由 一 個 目 標 函 數 來 評 價 ， 而 且 這 一 過 程 不 斷 重 復 ， 直至 達 到 某 種 形 式 上 的 收 斂 。 新 的 一 組 解 不 但 可 以 有 選 擇 地 保留 一 些 先 前 迭 代 中 目 標 函 數 值 高 的 解 ， 而 且 可 以 包 括 一 些 經由 其 它 解 結 合 而 得 的 新 的 解 ， 其 子 代 的 數 值 可 以

61、與 其 父 代 的情 況 有 相 當 大 的 差 別 。 52 符 號 串 表 示 和 遺 傳 操 作 的 設 計q 遺 傳 算 法 的 術 語 借 鑒 于 自 然 遺 傳 學 , 遺 傳 物 質 的 主 要 載 體 是 染色 體 。 在 遺 傳 算 法 中 ， 染 色 體 (個 體 )由 一 串 數 據 或 數 組 構 成 ，用 來 作 為 問 題 解 的 代 碼 。q 染 色 體 由 決 定 其 特 性 的 基 因 構 成 ， 而 基 因 又 可 以 有 稱 為 等 位基 因 的 不 同 取 值 。q 目 標 函 數 稱 為 適 應 度 函 數 ， 而 一 組 染 色 體 稱 為 群 體

62、。q 遺 傳 算 法 的 一 次 迭 代 稱 為 一 代 。q 遺 傳 算 法 成 功 的 關 鍵 在 于 符 號 串 表 示 和 遺 傳 操 作 的 設 計 。 53 染 色 體 q 解 空 間 中 的 每 一 點 都 對 應 一 個 用 由 基 因 表 示 的 染 色 體 。 例 如 ： 要 確 定 適 應 度 函 數 f(x,y)的 最 大 值 ， 搜 尋 空 間 變 量 x和 y為 整 數 ， 其 變 化 范 圍 是 0-15。 這 樣 對 應 于 搜 尋 空 間 任 何 點 可由 兩 基 因 的 染 色 體 來 表 示 ： 點 （ 2,6） 用 二 進 制 數 有 如 下 的 染 色

63、 體 ： x y 2 60 0 1 0 0 1 1 0 54 交 叉q 在 兩 父 代 的 染 色 體 的 隨 機 長 度 位 置 上 ， 用 交 叉 概 率 進 行 后 部交 換 ， 產 生 兩 子 代 ， 如 下 所 示 ： 上 面 的 交 叉 操 作 稱 為 單 點 交 叉 。 一 般 地 可 以 進 行 多 點 交 叉 ，如 下 所 示 ： 55 變 異q 與 交 叉 不 同 ， 變 異 涉 及 到 一 染 色 體 個 體 的 一 個 或 多 個 基 因 位的 翻 轉 ， 產 生 新 的 基 因 組 合 ， 以 通 過 交 叉 來 獲 得 子 代 染 色 體 。下 面 的 任 一 方

64、法 都 可 以 用 來 進 行 變 異 操 作 ： 隨 機 選 擇 的 基 因 位 數 值 可 以 被 隨 機 產 生 的 數 值 替 代 ， 這 種 替 代 對 二 進制 和 非 二 進 制 染 色 體 都 適 用 ； 在 二 進 制 染 色 體 中 ， 可 以 對 隨 機 選 擇 的 基 因 位 進 行 觸 發(fā) ， 即 10或01。 q 可 以 以 概 率 Pm隨 機 選 擇 個 體 進 行 變 異 操 作 。 q 變 異 操 作 的 主 要 優(yōu) 點 是 使 染 色 體 群 體 中 出 現 各 種 基 因 ， 這 樣遺 傳 算 法 有 在 參 數 解 空 間 找 出 各 種 可 能 的 解

65、 ， 避 免 解 的 丟 失 。 56 有 效 性 檢 驗q 對 于 不 同 的 優(yōu) 化 問 題 ， 有 時 需 要 增 加 檢 驗 ， 確 保 新 子 代 的 染色 體 表 示 的 是 參 數 解 空 間 中 的 有 效 點 。 如 考 慮 由 四 個 基 因 組成 的 染 色 體 ， 每 個 基 因 有 三 個 可 能 的 二 進 制 值 A=01， B=10，C=11。 二 進 制 染 色 體 表 示 組 合 BACA是 ： 1 0 0 1 1 1 0 11 0 0 1 1 1 0 0如 對 最 后 的 基 因 位 進 行 變 異 操 作 ， 產 生 了 如 下 所 示 的 無 效染 色

66、 體 ， 因 基 因 值 00沒 有 定 義 。 q 同 樣 ， 交 叉 也 可 能 產 生 有 缺 陷 的 染 色 體 操 作 。 克 服 這 些 問 題的 方 法 是 采 用 結 構 操 作 ， 交 叉 或 變 異 操 作 針 對 基 因 ， 而 不 是針 對 基 因 位 。 這 樣 ， 交 叉 操 作 點 總 能 與 基 因 邊 界 相 一 致 ， 變異 操 作 對 整 個 基 因 組 隨 機 選 擇 新 值 ， 確 保 產 生 有 效 染 色 體 。如 此 做 的 缺 點 是 染 色 體 群 體 的 差 異 性 會 受 到 影 響 。 57 基 本 的 遺 傳 算 法 框 圖q 初 始 染 色 體 群 體 隨 機 產 生 ；q 用 適 應 度 函 數 來 評 價 染 色體 個 體 ；q 根 據 適 應 度 產 生 繁 殖 的 染色 體 個 體 ， 適 應 度 好 的 染色 體 個 體 其 被 選 擇 來 繁 殖的 可 能 性 大 ；q 通 過 染 色 體 對 的 交 叉 和 變異 操 作 ， 產 生 各 自 的 子 代繁 殖 染 色 體 。 58 基 本 的 遺 傳 算 法q