《深度學(xué)習(xí)之word2vec課件 共23頁》由會員分享，可在線閱讀，更多相關(guān)《深度學(xué)習(xí)之word2vec課件 共23頁（23頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、深度學(xué)習(xí)之word2vec學(xué)習(xí)、分享與交流報告人：黃宇鵬目錄 基本概念 模型與方法 實戰(zhàn)與應(yīng)用詞向量 自然語言中的詞語在機器學(xué)習(xí)中表示符號 One-hot Representation例如： “話筒”表示為 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 . “麥克”表示為 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 . 實現(xiàn)時就可以用0,1,2,3,.來表示詞語進行計算，這樣“話筒”就為3，“麥克”為8. 存在兩個問題 維度比較大,尤其是用于 Deep Learning 的一些算法時 詞匯鴻溝：任意兩個詞之間都是孤立的，不能體現(xiàn)詞和詞之間的關(guān)系詞向量 Di

2、stributional Representation 詞表示為： 0.792, 0.177, 0.107, 0.109, 0.542, .，常見維度50或者100 解決“詞匯鴻溝”問題 可以通過計算向量之間的距離（歐式距離、余弦距離等）來體現(xiàn)詞與詞的相似性 如何訓(xùn)練這樣的詞向量 沒有直接的模型可訓(xùn)練得到 可通過訓(xùn)練語言模型的同時，得到詞向量語言模型 判斷一句話是不是正常人說出來的，用數(shù)學(xué)符號描述為 給定一個字符串w1,w2,.,wt,計算它是自然語言的概率 ，一個很簡單的推論是 例如，有個句子大家,喜歡,吃,蘋果 P(大家，喜歡，吃，蘋果)=p(大家)p(喜歡|大家)p(吃|大家,喜歡)p(

3、蘋果|大家,喜歡,吃) 簡單表示為 計算 問題),.,(21twwwp),.,|(.),|()|()(),.,(12121312121tttwwwwpwwwpwwpwpwwwpTiiiTContextwpwwwpsp121)|(),.,()()|(iiContextwp語言模型 現(xiàn)有模型 N-gram模型 N-pos模型 . Bengio的NNLM C&W 的 SENNA M&H 的 HLBL Mikolov 的 RNNLM Huang 的語義強化 .word2vec原理 兩種模型，兩種方法模型模型CBOWSkip-Gram方法Hierarchical SoftmaxNegative Samp

4、lingHierarchical SoftmaxNegative SamplingCBOW模型+Hierarchical Softmax方法 CBOW模型 INPUT:輸入層 PROJECTION:投影層 OUTPUT:輸出層 w(t):當(dāng)前詞語（向量） w(t-2),w(t-1),w(t+1),w(t+2):當(dāng)前詞語的上下文 SUM:上下文的累加和CBOW模型+Hierarchical Softmax方法（續(xù)）CBOW模型+Hierarchical Softmax方法（續(xù)）為什么建哈夫曼樹？非葉子結(jié)點為LR分類器葉子結(jié)點對應(yīng)詞典中的一個詞目標(biāo)：)|(iiContextwpCBOW模型+Hie

5、rarchical Softmax方法（續(xù)） 句子：我,喜歡,觀看,巴西,足球,世界杯 w=足球CBOW模型+Hierarchical Softmax方法（續(xù)） 正類概率: 負類概率: 足球 葉子節(jié)點經(jīng)過4次二分類，每次分類結(jié)果對應(yīng)的概率為 由Context(足球)預(yù)測足球出現(xiàn)的概率CBOW模型+Hierarchical Softmax方法（續(xù)）wljwjwwjXdpwContextwp21),|()(|( 對于詞典中的每個詞w有， 結(jié)點個數(shù) 其中， 或者表示為 對于由S個句子組成的語料庫C有 取對數(shù)似然函數(shù). 1),(1; 0),(),|(111wjwjTxwjwjTxwjwwjdXdXXd

6、pwjwjdwjTwdwjTwwjwwjXXXdp)(1 )(),|(1111CsswljwjwwjCsswwXdpwContextwpXL21),|()(|(),()(1log()(log)1(),|(log),(log21121CsswljwjTwwjwjTwwjCsswljwjwwjwwXdXdXdpXLwl參數(shù)1參數(shù)2CBOW模型+Hierarchical Softmax方法（續(xù)）)(1log()(log)1 (),(11wjTwwjwjTwwjXdXdjwfwj 1 梯度下降法進行求解 令 f(w,j)關(guān)于 和 的梯度分別為 更新公式wXwwjTwwjwjXXdjwf)(1 ),(1

7、1wjwjTwwjwXdXjwf11)(1 ),(wjwjwjjwf111),(:wljwwContextwXjwfwVwV2)(,),()(: )(word2vec實戰(zhàn)（一） 訓(xùn)練數(shù)據(jù)集：經(jīng)過分詞后的新聞數(shù)據(jù)，大小184MB 查看中國，釣魚島，旅游，蘋果幾個詞語的相似詞語如下所示word2vec實戰(zhàn)（一） 向量加減法 中國+北京-日本，中國+北京-法國，家庭+孩子-學(xué)校word2vec應(yīng)用（一） 機器翻譯 語言詞語的關(guān)系集合被表征為向量集合 向量空間內(nèi)，不同語言享有許多共性 實現(xiàn)一個向量空間到另一個向量空間的映射和轉(zhuǎn)換 圖為英語和西班語的五個詞在向量空間中的位置（已經(jīng)過降維） 對英語和西班語

8、之間的翻譯準(zhǔn)確率高達90%word2vec應(yīng)用（三） 給廣告主推薦用戶 T媒體網(wǎng)站用戶瀏覽網(wǎng)頁的記錄 pageH是匹克體育用品公司在T上的官網(wǎng) page2,page3,page5和pageH是比較相似的頁面 可給匹克體育用品公司推薦經(jīng)常瀏覽page2,3,5這個幾個頁面的用戶進行廣告投放word2vec應(yīng)用（三） 相似的頁面計算過程word2vec應(yīng)用（三）續(xù) 對ctr預(yù)估模型的幫助 新廣告上線存在冷啟動問題 通過比較相似的廣告的點擊率來預(yù)估這個廣告的點擊率 由上個例子可得到每個頁面的向量，然后通過Kmeans進行聚類，得到比較相似頁面的簇？ 向頁面向量添加其它的特征，例如廣告主所屬的行業(yè)和地

9、域等 假設(shè)頁面p1的向量是(0.3,-0.5,0.1），加入行業(yè)和地域信息后為(0.3,-0.5,0.1,1,0)，1和0分別表示行業(yè)和地域的特征值 這樣得到的聚類效果相對更好參考文獻1 .csdn/mytestmy/article/details/26969149 深度學(xué)習(xí)word2vec筆記之算法篇 2 .csdn/itplus/article/details/37969979 word2vec 中的數(shù)學(xué)原理詳解（四）基于 Hierarchical Softmax 的模型 3 zhihu/question/21661274/answer/19331979 楊超在知乎上的問答Word2Vec

10、的一些理解4 xiaoquanzi/?p=156 hisen博客的博文5 .csdn/mytestmy/article/details/38612907 深度學(xué)習(xí)word2vec筆記之應(yīng)用篇 6 tech.youdao/?p=915 Deep Learning實戰(zhàn)之word2vec，網(wǎng)易有道的pdf7 .csdn/lingerlanlan/article/details/38232755 word2vec源碼解析之word2vec.c 8 Hierarchical probabilistic neural network language model. Frederic Morin and Y

11、oshua Bengio.9 Distributed Representations of Words and Phrases and their Compositionality T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean.10 A neural probabilistic language model Y. Bengio, R. Ducharme, P. Vincent.11 Linguistic Regularities in Continuous Space Word Representations. Tomas Mikolov,Wen-tau Yih,Geoffrey Zweig.12 Efficient Estimation of Word Representations in Vector Space. Tomas Mikolov,Kai Chen,Greg Corrado,Jeffrey Dean.13licstar/archives/328 Deep Learning in NLP （一）詞向量和語言模型thank you !Q&A謝謝