《決策支持的新技術(shù)》由會員分享，可在線閱讀，更多相關(guān)《決策支持的新技術(shù)（54頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、西 南 民 族 大 學(xué) 計 科 學(xué) 院第 四 講決 策 支 持 的 新 技 術(shù) 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 第 一 節(jié) 數(shù) 據(jù) 倉 庫 技 術(shù) 4.1.1 數(shù) 據(jù) 倉 庫 的 基 本 知 識 4.1.2 數(shù) 據(jù) 倉 庫 系 統(tǒng) 的 結(jié) 構(gòu) 4.1.3 數(shù) 據(jù) 倉 庫 的 運(yùn) 行 結(jié) 構(gòu) 4.1.4 數(shù) 據(jù) 集 市 的 結(jié) 構(gòu) 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 第 二 節(jié) 數(shù) 據(jù) 挖 掘 技 術(shù) 4.2.1 數(shù) 據(jù) 挖 掘 概 述 4.2.2 數(shù) 據(jù) 挖 掘 基 本 過 程 與 步 驟4.2.3 數(shù) 據(jù) 挖 掘 的 任 務(wù)

2、 與 挖 掘 方 法4.2.4 數(shù) 據(jù) 挖 掘 與 數(shù) 據(jù) 倉 庫 的 關(guān) 系 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 第 三 節(jié) 聯(lián) 機(jī) 分 析 處 理 技 術(shù) 4.3.1 基 本 概 念 4.3.2 OLAP的 數(shù) 據(jù) 組 織 4.3.3 OLAP的 多 維 數(shù) 據(jù) 分 析 方 法 4.3.4 OLAP的 發(fā) 展 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.1.1 數(shù) 據(jù) 倉 庫 的 基 本 知 識 一 .從 數(shù) 據(jù) 庫 到 數(shù) 據(jù) 倉 庫事 務(wù) 處 理 環(huán) 境 不 適 宜 決 策 應(yīng) 用 的 主 要 原 因 ：1.事 務(wù) 處 理 環(huán)

3、 境 和 分 析 處 理 的 性 能 、 特 性 不 同2.數(shù) 據(jù) 集 成 問 題3.數(shù) 據(jù) 動 態(tài) 集 成 問 題4.歷 史 數(shù) 據(jù) 問 題5.數(shù) 據(jù) 的 綜 合 問 題6.不 同 的 使 用 對 象 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.1.1 數(shù) 據(jù) 倉 庫 的 基 本 知 識 二 .數(shù) 據(jù) 倉 庫 的 概 念 1.W.H.Inmon是 面 向 主 題 的 、 集 成 的 、 穩(wěn) 定 的 、 隨 時 間 變 化 的 數(shù)據(jù) 集 合 ， 用 于 支 持 經(jīng) 營 管 理 中 的 決 策 制 定 過 程 。面 向 主 題集 成穩(wěn) 定隨 時 間 變 化 決 策 支

4、 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 2.SAS軟 件 研 究 所 的 觀 點(diǎn)DB數(shù) 據(jù) DW數(shù) 據(jù)細(xì) 節(jié) 的在 存 取 時 準(zhǔn) 確 的可 更 新 的操 作 需 求 事 先 可 知 道事 務(wù) 驅(qū) 動面 向 應(yīng) 用一 次 操 作 數(shù) 據(jù) 量 小支 持 日 常 操 作 綜 合 或 提 煉 的代 保 過 去 的 數(shù) 據(jù)不 更 新操 作 需 求 事 先 不 知 道分 析 驅(qū) 動面 向 分 析一 次 操 作 數(shù) 據(jù) 量 大支 持 決 策 需 求 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 3.DW是 作 為 DSS的 基 礎(chǔ) 的 分 析 型 DB， 用 來 存

5、放 大 容 量 的 只 讀 數(shù) 據(jù) ， 為 制 定 決 策 提 供 所 需的 信 息 。 4.DW是 與 操 作 型 系 統(tǒng) 相 分 離 的 、 基 于 標(biāo) 準(zhǔn)企 業(yè) 模 型 集 成 的 、 帶 有 時 間 屬 性 的 ， 即 與 企業(yè) 定 義 的 時 間 段 相 關(guān) 的 、 面 向 主 題 且 不 可 更新 的 數(shù) 據(jù) 集 合 。 5. 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 三 .數(shù) 據(jù) 倉 庫 的 特 點(diǎn)1.數(shù) 據(jù) 倉 庫 是 面 向 主 題 的 。2. 數(shù) 據(jù) 倉 庫 是 集 成 的 。3.數(shù) 據(jù) 倉 庫 是 穩(wěn) 定 的 。4.數(shù) 據(jù) 倉 庫 是 隨 時 間

6、 變 化 的 。5.數(shù) 據(jù) 倉 庫 中 的 數(shù) 據(jù) 量 很 大 。6.數(shù) 據(jù) 倉 庫 軟 硬 件 要 求 較 高 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 四 .數(shù) 據(jù) 庫 與 數(shù) 據(jù) 倉 庫 的 區(qū) 別1.數(shù) 據(jù) 庫 是 面 向 業(yè) 務(wù) 的 ， 使 用 者 是 企 業(yè) 的 一 般 業(yè) 務(wù)人 員 ， 進(jìn) 行 企 業(yè) 日 常 數(shù) 據(jù) 處 理 和 維 護(hù) 工 作 。2.數(shù) 據(jù) 倉 庫 是 面 向 決 策 的 ， 使 用 者 是 企 業(yè) 的 高 層 管理 人 員 ， 它 也 是 使 用 關(guān) 系 數(shù) 據(jù) 庫 ， 當(dāng) 數(shù) 據(jù) 倉 庫 不 負(fù)責(zé) 處 理 業(yè) 務(wù) 。3.數(shù) 據(jù)

7、庫 注 重 的 是 企 業(yè) 運(yùn) 行 的 當(dāng) 前 數(shù) 據(jù) ， 任 務(wù) 是 收集 和 記 錄 企 業(yè) 的 原 始 業(yè) 務(wù) 數(shù) 據(jù) ， 而 DW面 對 的 是 非 即時 性 的 歷 史 數(shù) 據(jù) ， 通 過 從 業(yè) 務(wù) 數(shù) 據(jù) 中 提 取 ， 加 工 處理 后 提 供 給 決 策 人 員 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.1.2 數(shù) 據(jù) 倉 庫 系 統(tǒng) 的 結(jié) 構(gòu)關(guān) 系數(shù) 據(jù) 庫數(shù) 據(jù) 文 件其 他數(shù) 據(jù) 數(shù) 據(jù) 倉 庫管 理 工 具抽 取轉(zhuǎn) 換轉(zhuǎn) 載元 數(shù) 據(jù) 庫數(shù) 據(jù) 建模 工 具 綜 合數(shù) 據(jù)當(dāng) 前數(shù) 據(jù)歷 史數(shù) 據(jù) 用 戶 查詢 工 具C/S工 具OL

8、AP工 具DM工 具 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 一 .數(shù) 據(jù) 倉 庫 管 理 系 統(tǒng) 1.定 義 部 件 2.數(shù) 據(jù) 獲 取 部 件 3.管 理 部 件 4.目 錄 部 件 （ 元 數(shù) 據(jù) ） 5.DBMS部 件 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .數(shù) 據(jù) 倉 庫 的 結(jié) 構(gòu) 構(gòu) 成 1.數(shù) 據(jù) 倉 庫 的 構(gòu) 成 高 度 綜 合 數(shù) 據(jù) 層輕 度 綜 合 數(shù) 據(jù) 層當(dāng) 前 基 本 數(shù) 據(jù) 層歷 史 基 本 數(shù) 據(jù) 層 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .數(shù) 據(jù) 倉 庫 的 結(jié)

9、 構(gòu) 構(gòu) 成 2.數(shù) 據(jù) 倉 庫 的 元 數(shù) 據(jù)（ 1） 關(guān) 于 數(shù) 據(jù) 源 的 元 數(shù) 據(jù) 數(shù) 據(jù) 源 中 所 有 的 物 理 數(shù) 據(jù) 結(jié) 構(gòu) ， 包 括 所 有 的 數(shù) 據(jù)項 和 數(shù) 據(jù) 類 型 ； 所 有 數(shù) 據(jù) 項 的 業(yè) 務(wù) 定 義 ； 每 個 數(shù) 據(jù) 項 更 新 頻 率 ， 以 及 由 誰 或 哪 個 過 程 更 新的 說 明 ； 每 個 數(shù) 據(jù) 項 的 有 效 值 ； 其 他 系 統(tǒng) 中 具 有 相 同 業(yè) 務(wù) 含 義 的 數(shù) 據(jù) 項 的 清 單 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 2.數(shù) 據(jù) 倉 庫 的 元 數(shù) 據(jù)（ 2） 關(guān) 于 數(shù) 據(jù) 模

10、 型 的 元 數(shù) 據(jù) I/O對 象 ： 支 持 數(shù) 據(jù) 倉 庫 I/O操 作 的 各 種 對 象 ； 關(guān) 系 ： 兩 個 I/O對 象 之 間 的 關(guān) 聯(lián) ； 關(guān) 系 成 員 ： 描 述 每 個 關(guān) 系 中 兩 個 I/O對 象 的 具 體角 色 、 關(guān) 系 度 以 及 約 束 條 件 ； 關(guān) 系 關(guān) 鍵 字 ： 描 述 兩 個 I/O對 象 如 何 建 立 關(guān) 聯(lián) 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 2.數(shù) 據(jù) 倉 庫 的 元 數(shù) 據(jù)（ 3） 關(guān) 于 數(shù) 據(jù) 倉 庫 映 射 的 元 數(shù) 據(jù)用 該 類 元 數(shù) 據(jù) 反 映 數(shù) 據(jù) 倉 庫 中 的 數(shù) 據(jù) 項

11、是 從 哪 個特 定 數(shù) 據(jù) 源 填 充 的 ， 經(jīng) 過 哪 些 轉(zhuǎn) 換 、 變 換 和 加 載過 程 。這 類 數(shù) 據(jù) 可 以 用 來 生 成 程 序 ， 以 完 成 數(shù) 據(jù) 的 轉(zhuǎn) 換工 作 ， 即 實 現(xiàn) 操 作 型 數(shù) 據(jù) 轉(zhuǎn) 換 為 面 向 主 體 的 數(shù) 據(jù)倉 庫 的 數(shù) 據(jù) 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 2.數(shù) 據(jù) 倉 庫 的 元 數(shù) 據(jù)（ 4） 關(guān) 于 數(shù) 據(jù) 倉 庫 使 用 的 元 數(shù) 據(jù) 元 數(shù) 據(jù) 告 訴 數(shù) 據(jù) 倉 庫 中 有 什 么 數(shù) 據(jù) ， 它 們 是從 哪 兒 來 的 ， 即 如 何 按 主 題 查 看 數(shù) 據(jù) 倉 庫

12、的內(nèi) 容 ； 元 數(shù) 據(jù) 提 供 已 有 的 可 重 復(fù) 利 用 的 查 詢 語 言 信息 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 2.數(shù) 據(jù) 倉 庫 的 元 數(shù) 據(jù)（ 5） 元 數(shù) 據(jù) 的 作 用 DW的 核 心 定 位 數(shù) 據(jù) 倉 庫 的 目 錄 作 用 ； 數(shù) 據(jù) 從 業(yè) 務(wù) 環(huán) 境 向 數(shù) 據(jù) 倉 庫 傳 送 時 數(shù) 據(jù) 的 目 錄內(nèi) 容 ； 指 導(dǎo) 從 當(dāng) 前 基 本 數(shù) 據(jù) 到 輕 度 綜 合 數(shù) 據(jù) 、 輕 度 綜合 數(shù) 據(jù) 到 高 度 綜 合 數(shù) 據(jù) 的 綜 合 算 法 的 選 擇 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新

13、技 術(shù) 三 .數(shù) 據(jù) 倉 庫 的 工 具 集 1.分 析 工 具 （ 1） 查 詢 工 具 （ 2） 可 視 化 工 具 2.挖 掘 工 具 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 四 .數(shù) 據(jù) 進(jìn) 入 DW的 過 程 與 建 立 DW的 步 驟 1.數(shù) 據(jù) 進(jìn) 入 DW的 基 本 過 程 （ 教 材 p221） 提 取 ： 從 操 作 型 數(shù) 據(jù) 庫 中 選 擇 并 提 取 所 需 要 的 字段 ； 變 換 ： 為 來 自 數(shù) 據(jù) 源 的 數(shù) 據(jù) 指 定 常 用 的 格 式 和 名稱 ； 凈 化 ： 更 正 錯 誤 的 數(shù) 據(jù) ； 加 載 ： 把 凈 化 過 的

14、數(shù) 據(jù) 載 入 到 DW數(shù) 據(jù) 里 ； 匯 總 ： 提 前 計 算 出 任 何 期 待 的 DW數(shù) 據(jù) 的 匯 總 供 以后 使 用 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 2.建 立 DW的 步 驟 收 集 和 分 析 業(yè) 務(wù) 需 求 建 立 數(shù) 據(jù) 模 型 和 數(shù) 據(jù) 倉 庫 的 物 理 設(shè) 計 （ 包 括 劃 分粒 度 和 數(shù) 據(jù) 分 割 兩 部 分 內(nèi) 容 ） 定 義 數(shù) 據(jù) 源 選 擇 DW技 術(shù) 和 平 臺 從 操 作 型 DB中 提 取 、 轉(zhuǎn) 換 、 凈 化 并 加 載 到 DW中 選 擇 訪 問 和 報 表 工 具 選 擇 DB連 接 軟 件

15、選 擇 數(shù) 據(jù) 分 析 和 數(shù) 據(jù) 展 示 軟 件 更 新 DW 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.1.3 數(shù) 據(jù) 倉 庫 的 運(yùn) 行 結(jié) 構(gòu)DW服 務(wù) 器客 服 端客 服 端 DW服 務(wù) 器OLAP服 務(wù) 器兩 層 C/S結(jié) 構(gòu) ：三 層 C/S結(jié) 構(gòu) ： 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.1.4 數(shù) 據(jù) 集 市 的 結(jié) 構(gòu)一 .數(shù) 據(jù) 集 市 的 概 念數(shù) 據(jù) 集 市 是 指 具 有 特 定 應(yīng) 用 的 數(shù) 據(jù) 倉 庫 ， 主 要針 對 某 個 具 體 戰(zhàn) 略 意 義 的 應(yīng) 用 或 具 體 部 門 級 的應(yīng) 用

16、， 支 持 用 戶 利 用 已 有 的 數(shù) 據(jù) 獲 得 重 要 的 競爭 優(yōu) 勢 或 找 到 進(jìn) 入 新 市 場 的 具 體 解 決 方 案 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .數(shù) 據(jù) 集 市 的 特 點(diǎn)1.規(guī) 模 是 小 的 ； 2.特 定 的 應(yīng) 用 ；3.面 向 部 門 ；4.由 業(yè) 務(wù) 部 門 定 義 、 設(shè) 計 、 開 發(fā) 、 管 理 和 維 護(hù) ；5.快 速 實 現(xiàn) ； 6.購 買 較 便 宜 ；7.投 資 快 速 回 收 ； 8.工 具 集 的 緊 密 集 成 ；9.更 詳 細(xì) 的 、 預(yù) 先 存 在 的 數(shù) 據(jù) 倉 庫 的 摘 要 子

17、集 ；10.可 升 級 到 完 整 的 數(shù) 據(jù) 倉 庫 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 三 .數(shù) 據(jù) 集 市 與 數(shù) 據(jù) 倉 庫 的 關(guān) 系 1.數(shù) 據(jù) 集 市 不 等 于 數(shù) 據(jù) 倉 庫 ， 多 個 數(shù) 據(jù) 集市 合 并 起 來 不 能 成 為 數(shù) 據(jù) 倉 庫 。v 各 個 數(shù) 據(jù) 集 市 之 間 對 詳 細(xì) 數(shù) 據(jù) 和 歷 史 數(shù) 據(jù) 的存 儲 存 在 大 量 冗 余 ；v 同 一 個 問 題 在 不 同 的 數(shù) 據(jù) 集 市 的 查 詢 結(jié) 果 可能 不 一 致 ， 甚 至 相 互 矛 盾 ；v 各 數(shù) 據(jù) 集 市 之 間 以 及 與 源 數(shù) 據(jù) 庫

18、 系 統(tǒng) 之 間 難以 管 理 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 2.數(shù) 據(jù) 倉 庫 與 數(shù) 據(jù) 集 市 的 區(qū) 別（ 1） DW是 基 于 整 個 企 業(yè) 的 數(shù) 據(jù) 模 型 建 立 的 ， 它 面 向企 業(yè) 范 圍 內(nèi) 的 主 題 ， 而 數(shù) 據(jù) 集 市 是 按 照 某 一 特 定部 門 的 數(shù) 據(jù) 模 型 建 立 的 ， 也 稱 為 部 門 級 別 DW。（ 2） 數(shù) 據(jù) 倉 庫 中 存 儲 整 個 企 業(yè) 內(nèi) 的 詳 細(xì) 數(shù) 據(jù) ， 而 數(shù)據(jù) 集 市 中 的 數(shù) 據(jù) 的 詳 細(xì) 程 度 要 低 一 些 ， 包 含 的 概要 和 累 加 數(shù) 據(jù) 要

19、多 一 些 。（ 3） 數(shù) 據(jù) 集 市 的 數(shù) 據(jù) 組 織 一 般 采 用 星 形 模 型 ， 而 大型 數(shù) 據(jù) 倉 庫 的 數(shù) 據(jù) 組 織 采 用 第 三 范 式 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù)計 算 機(jī) 計 算 機(jī) 計 算 機(jī) 數(shù) 據(jù) 源數(shù) 據(jù) 倉 庫數(shù) 據(jù) 分 析四 .數(shù) 據(jù) 集 市 的 兩 種 結(jié) 構(gòu)從 屬 數(shù) 據(jù) 集 市從 屬 數(shù) 據(jù) 集 市 ： 數(shù) 據(jù) 來 源 于 中 央 DW， 一 般 為 那 些訪 問 DW頻 繁 的 關(guān) 鍵 業(yè) 務(wù) 部 門 建 立 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 數(shù) 據(jù) 源計 算

20、機(jī) 計 算 機(jī) 計 算 機(jī) 數(shù) 據(jù) 分 析獨(dú) 立 數(shù) 據(jù) 集 市獨(dú) 立 數(shù) 據(jù) 集 市 ： 數(shù) 據(jù) 直 接 來 源 與 企 業(yè) 的 業(yè) 務(wù) 功 能系 統(tǒng) ， 與 企 業(yè) DW在 數(shù) 據(jù) 量 和 服 務(wù) 對 象 有 所 區(qū) 別 ，邏 輯 結(jié) 構(gòu) 無 區(qū) 別 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.2.1 數(shù) 據(jù) 挖 掘 概 述 一 .案 例 NBA通 過 數(shù) 據(jù) 挖 掘 取 得 飛 躍 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .數(shù) 據(jù) 挖 掘 的 概 念v DM也 稱 為 數(shù) 據(jù) 庫 中 的 知 識 發(fā) 現(xiàn) （ KDD） ， 是

21、 從 大 量數(shù) 據(jù) 集 中 提 取 出 隱 含 的 、 非 平 凡 的 、 潛 在 有 用 的 信息 或 模 式 的 高 級 處 理 過 程 。v 數(shù) 據(jù) 挖 掘 是 知 識 發(fā) 現(xiàn) 的 核 心 步 驟 。v DM的 技 術(shù) 基 礎(chǔ) 是 AI、 機(jī) 器 學(xué) 習(xí) 和 統(tǒng) 計 學(xué) 。v 被 提 取 的 知 識 的 類 型 可 以 是 總 結(jié) 性 知 識 、 關(guān) 聯(lián) 性知 識 、 分 類 模 型 知 識 、 聚 類 模 型 知 識 ， 這 些 知 識 可表 示 為 概 念 、 規(guī) 則 、 規(guī) 律 、 模 式 等 形 式 ； 知 識 的 類型 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的

22、 新 技 術(shù)集 成 目標(biāo)數(shù)據(jù) 預(yù)處理數(shù)據(jù) 模式數(shù)據(jù) 知識源數(shù)據(jù) 預(yù) 處 理 數(shù) 據(jù) 挖 掘 評 價 與 解 釋數(shù) 據(jù) 準(zhǔn) 備 數(shù) 據(jù) 挖 掘 評 價 與 解 釋數(shù)據(jù) 選 擇 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 三 .數(shù) 據(jù) 挖 掘 的 優(yōu) 點(diǎn) 與 缺 點(diǎn) 1.優(yōu) 點(diǎn)（ 1） 減 少 了 用 戶 的 工 作 量 。（ 2） 使 用 戶 得 到 意 外 的 信 息 。（ 3） 對 數(shù) 據(jù) 的 迅 速 變 化 可 作 出 快 速響 應(yīng) ， 以 提 供 決 策 支 持 信 息 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 三 .數(shù) 據(jù) 挖 掘

23、的 優(yōu) 點(diǎn) 與 缺 點(diǎn) 2.缺 點(diǎn)（ 1） 對 計 算 機(jī) 的 性 能 要 求 高 。 （ 2） 意 外 的 信 息 不 可 靠 。 （ 3） 即 使 發(fā) 現(xiàn) 一 個 潛 在 的 可 以 利 用 的 關(guān) 系 ，其 實 際 使 用 價 值 也 可 能 不 太 明 顯 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.2.2 數(shù) 據(jù) 挖 掘 基 本 過 程 與 步 驟 一 .數(shù) 據(jù) 挖 掘 的 基 本 過 程 1.數(shù) 據(jù) 準(zhǔn) 備（ 1） 數(shù) 據(jù) 集 成 ： 從 操 作 型 環(huán) 境 中 提 取 并 集 成 數(shù) 據(jù) ，解 決 語 義 二 義 性 問 題 。（ 2） 數(shù) 據(jù) 選

24、 擇 ： 確 定 發(fā) 現(xiàn) 任 務(wù) 的 操 作 對 象 ；（ 3） 數(shù) 據(jù) 預(yù) 處 理 ： 消 除 噪 音 、 推 導(dǎo) 計 算 缺 值 數(shù) 據(jù) 、完 成 數(shù) 據(jù) 類 型 的 轉(zhuǎn) 換 ， 削 減 數(shù) 據(jù) 維 數(shù) 或 降 維 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 一 .數(shù) 據(jù) 挖 掘 的 基 本 過 程 2.數(shù) 據(jù) 挖 掘（ 1） 確 定 數(shù) 據(jù) 挖 掘 的 任 務(wù) 或 目 的 ；（ 2） 根 據(jù) 不 同 的 數(shù) 據(jù) 的 特 點(diǎn) ， 用 戶 和 實 際 運(yùn) 行系 統(tǒng) 的 要 求 決 定 要 使 用 的 數(shù) 據(jù) 挖 掘 的 算 法 ；（ 3） 實 施 數(shù) 據(jù) 挖 掘

25、， 獲 取 有 用 的 模 式 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 一 .數(shù) 據(jù) 挖 掘 的 基 本 過 程 3.數(shù) 據(jù) 表 述 與 評 價（ 1） 將 獲 取 的 信 息 以 便 于 用 戶 理 解 和 觀 察 的 方式 反 映 給 用 戶 ；（ 2） 用 評 價 指 標(biāo) 對 獲 取 的 信 息 評 價 ， 發(fā) 現(xiàn) 不 滿足 用 戶 需 求 的 模 式 ， 并 返 回 到 DM的 前 面 階 段 ，重 新 實 施 DM。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .進(jìn) 行 數(shù) 據(jù) 挖 掘 的 步 驟 1.問 題 定 義 2.發(fā)

26、 現(xiàn) 信 息 3.制 定 計 劃 4.采 取 行 動 5.檢 測 結(jié) 果 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.2.3 數(shù) 據(jù) 挖 掘 的 任 務(wù) 與 挖 掘 方 法 一 .數(shù) 據(jù) 抽 取 ： 對 數(shù) 據(jù) 進(jìn) 行 濃 縮 ， 給 出 它 的 緊湊 描 述 。 1.多 維 數(shù) 據(jù) 分 析 方 法 ： 是 一 種 數(shù) 據(jù) 倉 庫 技術(shù) ， 它 把 匯 集 操 作 結(jié) 果 預(yù) 先 計 算 并 存 貯 起 來 ，供 DSS使 用 。 2.面 向 對 象 的 歸 納 方 法 ： 對 用 戶 感 興 趣 的數(shù) 據(jù) 視 圖 進(jìn) 行 泛 化 ， 從 較 高 層 次 上 總 結(jié)

27、 了 在低 層 次 上 的 原 始 關(guān) 系 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .分 類 發(fā) 現(xiàn) 分 類 的 目 的 是 學(xué) 會 一 個 分 類 函 數(shù) 或 分 類 模型 （ 也 常 常 稱 作 分 類 器 ） ， 該 模 型 能 把 數(shù) 據(jù)庫 中 的 數(shù) 據(jù) 項 映 射 到 給 定 類 別 中 的 某 一 個 。 要 構(gòu) 造 分 類 器 ， 需 要 有 一 個 訓(xùn) 練 樣 本 數(shù) 據(jù)集 作 為 輸 入 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 三 .聚 類聚 類 是 把 一 組 個 體 按 照 相 似 性 歸 成 若 干

28、類 別 ， 即“ 物 以 類 聚 ” 。 它 的 目 的 是 使 同 一 類 別 的 個 體之 間 的 距 離 盡 可 能 的 小 ， 而 不 同 類 別 上 的 個 體間 的 距 離 盡 可 能 的 大 。 聚 類 方 法 包 括 統(tǒng) 計 方 法 、機(jī) 器 學(xué) 習(xí) 方 法 、 神 經(jīng) 網(wǎng) 絡(luò) 方 法 和 面 向 數(shù) 據(jù) 庫 的方 法 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 四 .關(guān) 聯(lián) 規(guī) 則 發(fā) 現(xiàn)用 于 關(guān) 聯(lián) 規(guī) 則 發(fā) 現(xiàn) 的 主 要 對 象 是 事 務(wù) 型 數(shù)據(jù) 庫 ， 其 中 針 對 的 應(yīng) 用 則 是 售 貨 數(shù) 據(jù) 。事 實 上 人 們 一 般

29、 只 對 滿 足 一 定 的 支 持 度 和可 信 度 的 關(guān) 聯(lián) 規(guī) 則 感 興 趣 。 為 了 發(fā) 現(xiàn) 出 有意 義 的 關(guān) 聯(lián) 規(guī) 則 ， 需 要 給 定 兩 個 閥 值 ： 最小 支 持 度 和 最 小 可 信 度 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.2.4 數(shù) 據(jù) 挖 掘 與 數(shù) 據(jù) 倉 庫 的 關(guān) 系 1.DM比 DW的 匯 總 型 分 析 處 理 要 詳 細(xì) 和 深 入 得 多 ； 2.DW的 發(fā) 展 是 促 進(jìn) DM發(fā) 展 的 一 個 重 要 原 因 ， DM經(jīng)常 被 看 成 是 DW的 后 期 市 場 產(chǎn) 品 ， DW中 具 有 最 豐

30、 富 的資 源 可 供 挖 掘 ； 3.DW不 是 DM的 必 要 條 件 ， 當(dāng) DW可 為 DM的 數(shù) 據(jù) 集 成和 數(shù) 據(jù) 準(zhǔn) 備 提 供 一 種 好 的 方 法 ； 4.DM可 能 是 DW的 一 個 邏 輯 上 的 子 集 ， 而 非 一 定 得是 物 理 上 單 獨(dú) 的 數(shù) 據(jù) 庫 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 用 戶 查 詢 請 求信 息 發(fā) 布 、 查 詢 分 類 、 解 釋查 詢 協(xié) 同 管 理業(yè) 務(wù) 系 統(tǒng) 及其 他 系 統(tǒng)異 構(gòu) 數(shù)據(jù) 源 DM技術(shù) 模 型 庫管 理 方 法 庫管 理 KMDW數(shù) 據(jù) 導(dǎo) 入 、轉(zhuǎn) 移 與 質(zhì) 量保

31、 障 工 具 其 他 信息 分 析工 具 KB 知 識 共 享 平 臺 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.3.1 基 本 概 念一 .OLAP的 概 念 1.OLAP理 事 會 ：一 種 軟 件 技 術(shù) ， 它 是 分 析 人 員 能 迅 速 、 一 致 、 交 互地 從 各 個 方 面 （ 維 ） 觀 察 信 息 ， 以 達(dá) 到 深 入 理 解數(shù) 據(jù) 的 目 的 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 一 .OLAP的 概 念 2.OLAP的 簡 單 定 義 ： 是 共 享 多 維 信 息 的 快 速 分 析 。 （ 1）

32、 快 速 性 （ 2） 可 分 析 性 （ 3） 多 維 性 關(guān) 鍵 和 核 心 屬 性 （ 4） 信 息 性 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .OLAP的 其 他 基 本 概 念1.變 量2.維 ： 觀 察 數(shù) 據(jù) 的 特 定 角 度 。3.維 的 層 次 ： 從 某 個 特 定 角 度 觀 察 數(shù) 據(jù) 時 的不 同 細(xì) 節(jié) 程 度 。4.維 成 員 ： 維 的 取 值 。5.多 維 數(shù) 組6.數(shù) 據(jù) 單 元 （ 單 元 格 ） ： 多 維 數(shù) 據(jù) 的 取 值 就是 數(shù) 據(jù) 單 元 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù)

33、 三 .OLAP與 OLTP的 關(guān) 系 與 比 較OLTP OLAP數(shù) 據(jù) 庫 數(shù) 據(jù) 數(shù) 據(jù) 庫 或 數(shù) 據(jù) 倉 庫 數(shù) 據(jù)細(xì) 節(jié) 性 數(shù) 據(jù) 綜 合 性 數(shù) 據(jù)當(dāng) 前 數(shù) 據(jù) 歷 史 數(shù) 據(jù)經(jīng) 常 更 新 不 更 新 ， 但 周 期 性 刷 新一 次 處 理 的 數(shù) 據(jù) 量 小 一 次 處 理 數(shù) 據(jù) 量 大對 響 應(yīng) 時 間 的 要 求 高 響 應(yīng) 時 間 合 理用 戶 數(shù) 量 大 用 戶 相 對 較 少面 向 操 作 人 員 ， 支 持 日 常 操 作 面 向 決 策 人 員 ， 支 持 管 理 需 要面 向 應(yīng) 用 ， 事 物 驅(qū) 動 面 向 分 析 ， 分 析 驅(qū) 動 決 策 支

34、持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.3.2 OLAP的 數(shù) 據(jù) 組 織一 .ROLAP （ Relation OLAP）基 于 關(guān) 系 數(shù) 據(jù) 庫 存 貯 方 式 建 立 ； 將 多 維 數(shù) 據(jù) 映 像 成平 面 型 的 關(guān) 系 表 中 的 行 。代 表 ： 星 型 模 式 。 將 基 本 信 息 存 貯 在 一 個 單 獨(dú) 的“ 事 實 表 ” 中 ， 有 關(guān) 維 的 支 持 信 息 放 在 其 他 表 中 。特 征 ：由 一 個 很 強(qiáng) 的 SQL生 成 器 ，對 應(yīng) 目 標(biāo) DB，能 對 SQL進(jìn) 行 優(yōu) 化 ，通 過 元 數(shù) 據(jù) 指 導(dǎo) 查 詢 ， 有 區(qū) 分

35、客 戶 、 服 務(wù) 器 及 中 間 件 的 能 力 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .MOLAP （ Multi-dimension OLAP）基 于 多 維 數(shù) 據(jù) 庫 存 貯 方 式 建 立 ；多 維 數(shù) 據(jù) 庫 由 許 多 經(jīng) 壓 縮 的 、 類 似 于 數(shù) 組 的對 象 構(gòu) 成 ；每 個 對 象 由 聚 集 成 組 的 單 元 塊 組 成 ， 每 個 單元 塊 按 類 似 于 多 維 數(shù) 組 的 結(jié) 構(gòu) 存 貯 ， 通 過 直接 偏 移 計 算 進(jìn) 行 存 取 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 三 .兩

36、種 組 織 方 式 的 比 較MOLAP ROLAP固 定 維 可 變 維維 交 叉 計 算 DW的 多 維 視 圖行 級 計 算 超 大 型 數(shù) 據(jù) 庫讀 、 寫 應(yīng) 用 維 數(shù) 據(jù) 變 化 速 度 快數(shù) 據(jù) 集 市 DW 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.3.3 OLAP的 多 維 分 析 方 法一 .切 片1.在 多 維 數(shù) 組 的 某 一 維 上 ， 選 定 一 維 成 員 的 方 法 ；2.選 定 多 維 數(shù) 組 （ 維 1、 維 2、 、 維 n， 變 量 ） 中 的兩 個 維 ， 如 維 i和 維 j， 在 這 兩 個 維 上 取 某 一 區(qū)

37、 間 或任 意 維 成 員 ， 將 其 余 的 維 都 取 定 一 個 維 成 員 ， 則 得到 的 就 是 多 維 數(shù) 組 在 維 i和 維 j上 的 一 個 二 維 子 集 ，稱 這 個 二 維 子 集 為 多 維 數(shù) 組 在 維 i和 維 j上 的 一 個 切片 ， 表 示 為 （ 維 i， 維 j ， 變 量 ） 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 二 .切 塊選 定 多 維 數(shù) 組 （ 維 1、 維 2、 、 維 n， 變 量 ） 中的 三 維 ， 如 維 i、 維 j和 維 r， 在 這 三 個 維 上 取某 一 區(qū) 間 或 任 意 的 維 成

38、員 ， 將 其 余 的 維 都 取 定一 個 維 成 員 ， 則 得 到 的 就 是 多 維 數(shù) 組 在 維 i、維 j和 維 r上 的 一 個 三 維 子 集 ， 稱 這 個 三 維 子 集為 多 維 數(shù) 組 在 維 i、 維 j和 維 r上 的 一 個 切 塊 ，表 示 為 （ 維 i， 維 j ， 維 r， 變 量 ） 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 三 .旋 轉(zhuǎn) /轉(zhuǎn) 軸四 .鉆 取改 變 一 個 報 告 或 頁 面 顯 示 的 維 方 向 。 有 向 下 鉆 取 、 向 上 鉆 取 、 跨 越 鉆 取 、 上卷 等 操 作 。 決 策 支 持 系 統(tǒng) 第 四 講 決 策 支 持 的 新 技 術(shù) 4.3.4 OLAP的 發(fā) 展 與 應(yīng) 用一 .OLAP和 DM有 機(jī) 結(jié) 合 起 來 形 成 了 新 技術(shù) 聯(lián) 系 分 析 挖 掘 （ OLAM）二 .OLAP廣 泛 的 應(yīng) 用 領(lǐng) 域