《中文詞語分析一體化系統(tǒng).ppt》由會員分享，可在線閱讀，更多相關(guān)《中文詞語分析一體化系統(tǒng).ppt（30頁珍藏版）》請在裝配圖網(wǎng)上搜索。

,張華平 劉 群 zhanghp@ 中科院計算技術(shù)研究所 2002-5-28,中文詞語一體化分析,綱要,問題背景與難點(diǎn)分析 主要研究方法與相關(guān)系統(tǒng) 我們的研究思路—基于多層HMM的一體化方法 基于N-最短路徑的詞語粗分 基于角色標(biāo)注的未登錄詞識別 計算所中文詞語一體化分析系統(tǒng)ICTCLAS 結(jié)論,問題背景與難點(diǎn)分析,問題背景,漢語的書面語是按句分開的,詞與詞之間沒有明確的分隔標(biāo)記。 詞是最小的能夠獨(dú)立活動的有意義的語言成分 。 中文信息處理只要涉及句法、語義(如檢索、翻譯、文摘、校對等應(yīng)用),就需要以詞為基本單位。句法分析、語句理解、自動文摘、自動分類和機(jī)器翻譯等，更是少不了詞的詳細(xì)信息 。,問題背景與難點(diǎn)分析 II,分詞的必要性,物,理,學(xué),physics,products,…,price,image,body,theory,barber,science,understand,reason,school,study,credit,student,subject,物理學(xué),physics,physicist,,,,,,,,,…,…,,,,,,,evidence,,,,,,,,,6 5 5 = 150 : 2,,問題背景與難點(diǎn)分析 III,中文詞語分析的主要難點(diǎn) 歧義 交叉歧義(86%): 結(jié)合成分子時 組合歧義(14%): 這個人手上有痣； 我們?nèi)比耸?全局歧義與局部歧義: 乒乓球拍/賣/完了； 乒乓球/拍賣/完了； 我很/難過,問題背景與難點(diǎn)分析 IV,未登錄詞問題 干擾作用 克林頓對內(nèi)塔尼亞胡說 龔學(xué)平等領(lǐng)導(dǎo) 最終識別 多樣性 復(fù)雜性 上下文干擾,主要研究方法與相關(guān)系統(tǒng),當(dāng)前主要的研究方法 基于規(guī)則的方法 最大匹配法（Maximum Matching）正向、逆向、雙向 最優(yōu)路徑（+詞頻選擇）法（最少分詞法） 基于統(tǒng)計的方法 (N元語法，HMM) 基于規(guī)則和基于統(tǒng)計相結(jié)合 其他的一些方法 (壓縮，自監(jiān)督，基于轉(zhuǎn)移的錯誤驅(qū)動方法等),主要研究方法與相關(guān)系統(tǒng)II,當(dāng)前主要的中文詞語分析系統(tǒng) 哈工大統(tǒng)計分詞系統(tǒng) 自動化所三元統(tǒng)計模型 清華大學(xué)SEGTAG系統(tǒng) 詞典中的每一個重要的詞都加上了切分標(biāo)志 無條件切出qk類詞；完全切分ck類詞；其他無交叉歧義的切之，否則全切分。 “動態(tài)規(guī)劃“和“全切分搜索+葉子評價“,主要研究方法與相關(guān)系統(tǒng)III,Microsoft Research多國語言處理平臺NLPWin中的中文詞語分析詞系統(tǒng) 雙向的Chart Parsing，使用了語法規(guī)則并以概率模型作導(dǎo)向 切詞-句法分析一體化 北大計算語言所分詞和詞類標(biāo)注系統(tǒng) 分詞和詞類標(biāo)注結(jié)合起來 基于規(guī)則的標(biāo)注排歧與基于語料庫統(tǒng)計模型的排歧結(jié)合 處理過程包括了自動切分和初始詞性標(biāo)記、切分歧義字段識別、組詞和標(biāo)注預(yù)處理、詞性標(biāo)記排歧、切分和詞性標(biāo)注后處理,主要研究方法與相關(guān)系統(tǒng)IV,現(xiàn)有方法的一些潛在不足(待探討)： 規(guī)則與統(tǒng)計的結(jié)合，更大意義上是一種組合，兩種處理出現(xiàn)在系統(tǒng)中相對獨(dú)立的兩個不同階段。 排歧、識別未登錄詞更多的是利用規(guī)則，難以量化。即使量化，也很難和普通詞實(shí)現(xiàn)真正量值上的比較。 歧義字段、未登錄詞作為特殊情況處理，后期處理中沒有與普通詞統(tǒng)一。 沒有相對統(tǒng)一的處理模型和評估體系。 最終導(dǎo)致：準(zhǔn)確率、召回率在開放測試的條件下并不像宣稱的那樣理想，尤其是在未登錄詞、歧義字段存在的情況里。,我們的研究思路 —基于多層HMM的一體化方法,目標(biāo)： 分詞、詞性標(biāo)注的一體化；未登錄詞與普通詞處理的一體化；評估體系一體化。 基本思想： 采取HMM模型，建立切分詞圖。詞語粗分階段，先得出N個概率最大的切分結(jié)果。然后，利用角色標(biāo)注方法識別未登錄詞，并計算其概率，將未登錄詞加入到切分詞圖中，之后視它為普通詞處理，最終進(jìn)行動態(tài)規(guī)劃優(yōu)選出N個最大概率切分標(biāo)注結(jié)果。,基于多層HMM的一體化方法II,利用噪聲-信道模型,建立目標(biāo)評估函數(shù),其中 C:原始字串；W:切分的詞串；T:詞性標(biāo)注序列 ∵ P(C|W)=1→P(CW)=P(W) P((W,T)|C)=P(T|CW)P(W|C)=P(T|W)P(W|C) =P(T)P(W|T)/P(W) ? P(W)/P(C) = P(T)P(W|T)/P(C) (字串C出現(xiàn)的概率P(C)為一常數(shù),不影響結(jié)果，可以忽略),(W,T)*= …….……………………(0),基于多層HMM的一體化方法III,利用隱馬模型展開P(T)P(W|T),并引入共現(xiàn)概率 P((W,T)|C) =ΠP(ti|ti-1)P(wi|ti).…………………………….(1) P*(W,T)=lnP(W,T) =ln Π P(wi|ti) =Σ ln P(ti|ti-1) + Σ ln P(wi|ti) …………………….(2) ∴ 評價函數(shù)或者決策函數(shù)如下： (W,T)*= [Σ ln P(ti|ti-1) + Σ ln P(wi|ti)],,基于多層HMM的一體化方法IV,一體化需要解決的主要問題 排歧問題 未登錄詞的概率問題P(wi|ti) P(張華平|nr)? P(奧斯特羅夫斯基|nr)? P(大石頭村|ns)?,基于N-最短路徑的詞語粗分,基本思想 根據(jù)詞典，建立字串詞語切分有向無環(huán)圖。每個詞對應(yīng)圖中的一條有向邊，并賦給相應(yīng)的邊長（權(quán)值）。然后針對該切分圖，在起點(diǎn)到終點(diǎn)的所有路徑中，求出長度值按嚴(yán)格升序排列（任何兩個不同位置上的值一定不等，下同）依次為第1， 第2，…，第i，…，第N的路徑集合作為相應(yīng)的粗分結(jié)果集。如果兩條或兩條以上路徑長度相等，那么他們的長度并列第i，都要列入粗分結(jié)果集，而且不影響其他路徑的排列序號，最后的粗分結(jié)果集合大小大于或等于N。,基于N-最短路徑的詞語粗分II,出發(fā)點(diǎn) 實(shí)際上是最短路徑方法和全切分的有機(jī)結(jié)合。一方面避免了最短路徑分詞方法大量舍棄正確結(jié)果的可能，另一方面又大大解決了全切分搜索空間過大，運(yùn)行效率差的弊端。 “求同存異，保留爭端”。即：解決在切詞階段能解決的大部分問題；而對歧義、未登錄詞等問題盡量保留下來，留給后續(xù)過程處理。 統(tǒng)計與非統(tǒng)計方法,基于N-最短路徑的詞語粗分III,測試結(jié)果 說明： 統(tǒng)計N-最短路徑 句子總數(shù)為： 185,192,基于N-最短路徑的詞語粗分IV -對比測試實(shí)驗[召回率/結(jié)果數(shù)],基于角色標(biāo)注的未登錄詞識別,現(xiàn)有未登錄詞識別方法的不足 大部分只針對切分碎片進(jìn)行識別。 “單點(diǎn)激活”： 必須遇到具明顯特征的上下文或者未登錄詞用字時，才會觸發(fā)未登錄詞的識別過程。 對識別出來的很難給出實(shí)際意義上的概率值 歧義排除乏力 呂梁的特點(diǎn)是貧困人口占全省的１／３左右。 格威特等高水準(zhǔn)的競爭對手也是促使李寧牌不斷創(chuàng)新突破的一個誘因 周鵬和同學(xué),未登錄詞識別II,基于角色的未登錄詞識別方法 采用Viterbi算法，確定句子概率最大的角色序列，在角色序列的基礎(chǔ)上，進(jìn)行模式匹配。 未登錄詞的角色 內(nèi)部組成：首部、中部、尾部、內(nèi)部成詞 上下文 上下文與內(nèi)部組成交叉成詞 句子中其他成分,未登錄詞識別 III,漢族人名的角色表（示例，有省略）,未登錄詞識別 IV,具體實(shí)現(xiàn) R#≈ 角色標(biāo)注過程類似于詞性標(biāo)注，也是一層HMM 示例： 館內(nèi)陳列周恩來和鄧穎超生前使用過的物品 館/內(nèi)/陳列/周/恩/來/和/鄧/穎/超生/前/使用/過/的/物品/ 館/A內(nèi)/A 陳列/K周/B恩/C來/D和/M鄧/B穎/C超生/V前/A使用/A過/A的/A物品/A V需要拆分，最終匹配人名模板，得到“周恩來”“鄧穎超”,未登錄詞識別 V,未登錄詞概率的計算 P(wi|ti) wi= c1 c2 …cn 角色序列 Ri= r1 r2 …rn P(wi|ti)=P(wi|Ri) P(ti|Ri) = P(ti|Ri) P(ti|Ri)可以由語料統(tǒng)計得到；例如單姓+單名生成姓名的概率等于單姓單名除以總的人名數(shù)目；其結(jié)果大約為12%,未登錄詞識別 VI,漢族人名測試結(jié)果,計算所中文詞語一體化分析系統(tǒng)ICTCLAS,Institute of Computing Tech., Chinese Lexical Analysis System. (ICTCLAS) 設(shè)計的基本原則 一體化 結(jié)果不唯一 “當(dāng)斷則斷，不留后患” “求同存異，保留爭端”,ICTCLAS—系統(tǒng)處理流程,,,,,,,,,,,,,,,,,,,,,,ICTCLAS—功能模塊,ICTCLAS,,,,,N-最短路徑切分 （概率統(tǒng)計）,未登錄詞識別,隱馬標(biāo)注,,,,,人名,地名,譯名,,其他,,,結(jié)果生成,,,,重疊詞,規(guī)范,,其他,,ICTCLAS—初評結(jié)果,評測語料庫為《人民日報》1998年1月1日-1月15日（12000行）的新聞?wù)Z料 總共詞數(shù)：601646 切分正確率（按詞統(tǒng)計）98.38%；按句子統(tǒng)計93.15% 一級標(biāo)注正確率（按詞統(tǒng)計）：97.16%；按句子統(tǒng)計78.44%,結(jié)論,漢語詞語分析是中文信息處理的基礎(chǔ)，無論是理論上，還是實(shí)際應(yīng)用上都極其重要。 其難點(diǎn)主要在于排歧和未登錄詞的識別。 目前常用的研究方法及相關(guān)系統(tǒng)，存在著一些不足：不統(tǒng)一；量化困難，缺乏可比性。 N-最短路徑方法進(jìn)行詞語粗分，可以盡可能的解決詞語切分問題，同時將未登錄詞與歧義問題保留到下一過程。 基于角色標(biāo)注的未登錄詞識別方法，可以克服觸發(fā)與候選字段選取的盲目性，并能計算出候選詞的概率。最終效果能滿足實(shí)際要求。 基于HMM的一體化方法能夠?qū)⑽吹卿浽~、歧義排除和普通詞的處理統(tǒng)一起來，我們在ICTCLAS中進(jìn)行了實(shí)際的應(yīng)用。,敬請指導(dǎo)！謝謝！,