瓶裝產(chǎn)品自動(dòng)貼標(biāo)機(jī)的設(shè)計(jì)含15張CAD圖,瓶裝,產(chǎn)品,自動(dòng),貼標(biāo)機(jī),設(shè)計(jì),15,cad 譯文及原文結(jié)構(gòu)化標(biāo)簽，以方便機(jī)器學(xué)習(xí)的概念演化作者： Todd Kulesza Saleema Amershi Rich Caruana Danyel Fisher Denis Charles 摘要:標(biāo)簽數(shù)據(jù)是一個(gè)看似簡(jiǎn)單的任務(wù)訓(xùn)練、許多機(jī)器學(xué)習(xí)系統(tǒng)的要求，但實(shí)際上是問題重重。本文介紹了概念的演變，即具有一個(gè)基本概念的變化性質(zhì)（目標(biāo)類的抽象概念)的事物可以被標(biāo)記，例如，垃圾郵件，旅游相關(guān)的網(wǎng)頁，這可能會(huì)導(dǎo)致不一致的標(biāo)簽，從而不利于機(jī)器學(xué)習(xí)。我們引入兩個(gè)結(jié)構(gòu)化的標(biāo)簽解決方案，提出了一種新的技術(shù)，幫助人們定義和完善自己的概念，以一致的方式，標(biāo)記他們的標(biāo)簽。通過一系列的五個(gè)實(shí)驗(yàn)，包括一個(gè)受控的實(shí)驗(yàn)室研究，我們?cè)趯?shí)踐中說明的概念演變的影響和動(dòng)態(tài)，并表明，結(jié)構(gòu)化標(biāo)簽有助于人們的標(biāo)簽比傳統(tǒng)的標(biāo)簽更一致。關(guān)鍵詞：概念演變；交互式機(jī)器學(xué)習(xí)ACM 分類關(guān)鍵詞：H.5.2.信息接口和演示 (例如，HCI)：用戶界面。引言：數(shù)據(jù)是機(jī)器學(xué)習(xí)的基礎(chǔ)。在監(jiān)督學(xué)習(xí)中，一臺(tái)被調(diào)節(jié)好的機(jī)器根據(jù)一些目標(biāo)的概念標(biāo)記例子數(shù)據(jù)。結(jié)果有一個(gè)學(xué)習(xí)的功能可以預(yù)測(cè)新的、看不見的數(shù)據(jù)標(biāo)簽。機(jī)器學(xué)習(xí)的性能取決于標(biāo)記的數(shù)據(jù)作用于訓(xùn)練的質(zhì)量。例如，垃圾郵件過濾器通常是機(jī)器學(xué)習(xí)的功能，是將一個(gè)大的郵件或網(wǎng)頁標(biāo)記為垃圾郵件的訓(xùn)練。不好的垃圾郵件過濾器可能會(huì)承認(rèn)不想要的垃圾郵件，或者更糟的是，不正確的分類重要的電子郵件或網(wǎng)頁作為垃圾郵件。大型企業(yè)經(jīng)常招募人來標(biāo)注大量的數(shù)據(jù)機(jī)器學(xué)習(xí)者需要支持自動(dòng)服務(wù)，如排名的網(wǎng)頁搜索結(jié)果(例如， [ 20，16 ])，提供建議(例如，[ 31 ])，或顯示相關(guān)的廣告( 例如，[ 34 ])。此外，交互式機(jī)器學(xué)習(xí)系統(tǒng)允許個(gè)人用戶標(biāo)簽數(shù)據(jù)，以提高個(gè)性化的服務(wù)，如電子郵件過濾優(yōu)先級(jí)(例如， [ 13，12 ])和音樂或電影的建議(例如，[ 35 ])。雖然標(biāo)簽數(shù)據(jù)是一個(gè)看似簡(jiǎn)單的任務(wù)，它實(shí)際上是充滿了問題( 例如，[ 19，9，26 ]),標(biāo)簽反映數(shù)據(jù)及其相關(guān)概念之間的映射(即，他們用抽象概念的目標(biāo)) 。因此，標(biāo)簽的質(zhì)量是受貼標(biāo)機(jī)的專業(yè)知識(shí)、熟悉的概念或數(shù)據(jù)因素的影響，他們的判斷能力和注意力集中在標(biāo)簽和模糊性數(shù)據(jù)本身的變化分布。本文討論了一個(gè)明顯的問題，標(biāo)簽數(shù)據(jù)，我們稱之為概念演化。概念的演變是指在他們的頭腦中的概念界定和細(xì)化貼標(biāo)的過程，這種過程可以被應(yīng)用到類似的項(xiàng)目上，就如基礎(chǔ)概念的觀念變化不同的標(biāo)簽貼標(biāo)機(jī)。本文提出了一個(gè)形成性研究，我們發(fā)現(xiàn)，將人們標(biāo)簽的一組網(wǎng)頁的兩次與一四次之間的差距標(biāo)簽記錄，平均而言，只有 81%符合他們的初始標(biāo)簽。這種不一致的標(biāo)簽類似的項(xiàng)目可以是有害的機(jī)器學(xué)習(xí)，這是基礎(chǔ)上的想法，類似的投入應(yīng)該有類似的輸出。此外，標(biāo)簽的質(zhì)量始終是機(jī)器學(xué)習(xí)很重要的部分，特別重要的情況下，數(shù)據(jù)量是有限的。為了解決概念演化問題，我們引入結(jié)構(gòu)化的標(biāo)簽，一種新的互動(dòng)技術(shù)，幫助人們?yōu)樗麄兊臉?biāo)簽數(shù)據(jù)定義和完善自己的概念。結(jié)構(gòu)化標(biāo)簽允許人們通過分組和標(biāo)記數(shù)據(jù)(如他們選擇)在一個(gè)傳統(tǒng)的標(biāo)簽計(jì)劃(例如，標(biāo)記為“是” ， “不” ， “可能是”)，在一個(gè)傳統(tǒng)的標(biāo)簽計(jì)劃中，表示他們的概念定義。這個(gè)組織能力有助于提高標(biāo)簽的一致性，幫助人們拷貝所有或部分的個(gè)人或課堂使用的工作，沒有費(fèi)用，沒有提供分布式的利潤(rùn)或商業(yè)優(yōu)勢(shì)，該副本承擔(dān)此通知和第一頁的全部引用。這項(xiàng)工作的組成部分，擁有比別人要尊重版權(quán)，并且允許對(duì)提取復(fù)制或轉(zhuǎn)載、信用證。此外，因?yàn)榻Y(jié)構(gòu)是可延展的(用戶可以創(chuàng)建，刪除，拆分，合并)，在非常適合的情況下，觀察到新的數(shù)據(jù)的用戶有可能經(jīng)常改進(jìn)他們的概念定義。我們還提供了一個(gè)輔助結(jié)構(gòu)的標(biāo)簽版本，我們的工具，使用視覺輔助工具和標(biāo)簽的建議，隨著他們的概念的發(fā)展更進(jìn)一步幫助人們標(biāo)記數(shù)據(jù)。圖 1 我們的結(jié)構(gòu)化標(biāo)記方法允許人們以任何方式分組數(shù)據(jù)對(duì)他們有意義的。通過看到的結(jié)構(gòu)，人們可以得到一個(gè)更深入的理解，他們正在建模的概念。在這里，用戶看到的每一頁(左上)，將它拖到現(xiàn)有的組(右)，或創(chuàng)建一個(gè)新組了?？s略圖(左下)顯示在數(shù)據(jù)集相似的頁面，幫助用戶表是否創(chuàng)建一個(gè)新組是必要的。本文的主要貢獻(xiàn)如下：引入演化問題和目前的研究結(jié)果，研究人與機(jī)器的互動(dòng)學(xué)習(xí)環(huán)境概念演變的影響及動(dòng)力學(xué)。引入兩個(gè)工具的結(jié)構(gòu)化標(biāo)記，一種幫助人們發(fā)展他們的概念在標(biāo)簽交互技術(shù)。我們提出了一個(gè)對(duì)照實(shí)驗(yàn)比較我們的結(jié)構(gòu)化標(biāo)記工具和傳統(tǒng)的機(jī)器的標(biāo)記。研究結(jié)果表明，結(jié)構(gòu)化的標(biāo)簽是首選的參與者，在一個(gè)成本的速度下使他們標(biāo)簽數(shù)據(jù)更一致。一個(gè)小的跟蹤實(shí)驗(yàn)表明，結(jié)構(gòu)化標(biāo)記幫助人們到達(dá)更一致的結(jié)構(gòu)化決策時(shí)比傳統(tǒng)標(biāo)記標(biāo)記相同的數(shù)據(jù)間隔十天。背景及相關(guān)工作：在這一節(jié)中，我們將介紹不同于機(jī)器學(xué)習(xí)的其他標(biāo)簽概念演變問題，為什么現(xiàn)有的解決方案不解決概念演化的背景和相關(guān)工作。然后我們描述了相關(guān)的工作與信息管理，激發(fā)了我們的結(jié)構(gòu)化標(biāo)記的概念演化方法的動(dòng)力，解釋了我們的工作--推廣這方面的機(jī)器學(xué)習(xí)中的標(biāo)注問題研究。機(jī)器學(xué)習(xí)中的標(biāo)記的挑戰(zhàn)和解決方案：在機(jī)器學(xué)習(xí)中，監(jiān)督機(jī)器的學(xué)習(xí)需要標(biāo)記的數(shù)據(jù)。然而，有許多研究的挑戰(zhàn)獲得數(shù)據(jù)，例如，標(biāo)簽可以是嘈雜的，有些數(shù)據(jù)可能貼錯(cuò)標(biāo)簽或標(biāo)簽應(yīng)用不一致。因此，要研究機(jī)器社區(qū)發(fā)展的噪聲容限的算法(例如，[ 10，30])和自動(dòng)識(shí)別和消除或糾正錯(cuò)誤數(shù)據(jù)的技術(shù)(例如，[ 9 ])。雖然算法的解決方案，可以減少影響標(biāo)簽噪聲的機(jī)器學(xué)習(xí)者的質(zhì)量，但他們不幫助用戶在自己的頭腦中細(xì)化目標(biāo)概念。最近，研究人員已經(jīng)開始探索新的接口，以減少標(biāo)簽噪聲。例如，卡特雷特等人。[ 11 ]表明，研究成對(duì)比較比絕對(duì)的判斷更可靠的相關(guān)性標(biāo)簽,設(shè)置明智的判斷也被探討獲得相關(guān)的標(biāo)簽(例如，[ 4 ])。雖然比較基礎(chǔ)的判決已被證明是更容易作出絕對(duì)的判斷，但相關(guān)性判斷如人的觀察數(shù)據(jù)可能仍在進(jìn)化[ 7 ]。因此，征求的標(biāo)簽通過比較仍然可以從構(gòu)建和重新標(biāo)簽決策支持中受益。另一種常見的方式來處理標(biāo)簽噪聲是使用多機(jī)和多數(shù)投票或加權(quán)方案作出最后的標(biāo)簽判斷(例如，[ 19，26 ])。其次，當(dāng)涉及多個(gè)貼標(biāo)機(jī)的技術(shù)可以幫助減少標(biāo)簽的噪音時(shí)，他們不得不解決概念的演變問題。相比之下，我們可以解決多標(biāo)簽、結(jié)構(gòu)化標(biāo)簽的方法的好處是能夠使人們決定分享他們的標(biāo)簽甚至有可能收斂于目標(biāo)的概念界定。此外，越來越多的課堂互動(dòng)學(xué)習(xí)機(jī)的系統(tǒng)依賴于標(biāo)記的數(shù)據(jù)從個(gè)人用戶[ 1 ]，因此不能從多個(gè)標(biāo)簽的解決方案中受益。由于數(shù)據(jù)量可能是個(gè)人愿意或能夠標(biāo)簽比可多標(biāo)簽解決方案低得多，不利于學(xué)習(xí)很大一部分?jǐn)?shù)據(jù)的[ 8 ]。在數(shù)據(jù)標(biāo)簽中的一個(gè)更為陰險(xiǎn)的問題是概念漂移，其中的基礎(chǔ)數(shù)據(jù)是從根本上改變了時(shí)間[ 29 ]。概念漂移的一個(gè)例子是一個(gè)新聞推薦，試圖推薦最有趣的最近的新聞。在這里，有趣的概念可能保持不變，隨著時(shí)間的推移，但數(shù)據(jù)(在這種情況下，新聞)是將不斷漂流作為一個(gè)結(jié)果，改變當(dāng)前的事件。大多數(shù)的解決方案，概念漂移模型概念時(shí)間，如丟棄或加權(quán)信息根據(jù)數(shù)據(jù)(例如， [ 27，33])或通過自動(dòng)識(shí)別新類型的數(shù)據(jù)(例如，[ 15，5 ])。至關(guān)重要的是，這些解決方案旨在幫助用戶完善自己的一個(gè)概念，一個(gè)問題。根據(jù)數(shù)據(jù)(例如， [ 27，33]) 或通過自動(dòng)識(shí)別新類型的數(shù)據(jù) (例如，[ 15，5 ])。批判性地，這些解決方案的目的是幫助用戶改進(jìn)自己的概念，一個(gè)問題就可能會(huì)加劇已經(jīng)存在的概念漂移。數(shù)據(jù)管理工具:為方便數(shù)據(jù)管理我們提出了的結(jié)構(gòu)化標(biāo)記解決方案[ 23 ]，組織和理解大量數(shù)據(jù)的迭代過程。我們的工作是對(duì)特別的意義建構(gòu)研究信息和文檔管理(例如，[ 3， 14，21，24 ])。與結(jié)構(gòu)化的標(biāo)簽一樣，這些工具通常利用空間記憶和可視化表示，以幫助人們組織信息[ 32 ]。例如，數(shù)據(jù)與信息管理方便讓用戶安排在一個(gè)文件中的三維虛擬環(huán)境[ 24 ]。蒂文等人[ 28 ]探討了一些信息的視覺表達(dá)，以幫助人們尋找和發(fā)現(xiàn)信息。其他人探討技術(shù)的可視化組文件，如扇形或堆疊的文件縮略圖顯示文本的摘要(例如，[ 3，24 ])。我們的輔助結(jié)構(gòu)的標(biāo)記工具，采用自動(dòng)視覺提示和建議，是密切相關(guān)的最近的工作工具的半自動(dòng)化的支持與信息管理( 例如，[ 2，3 ])。例如，疊前時(shí)間偏移[ 3 ]幫助人們整理文件空間組織團(tuán)體或樁通過傳入的文件組建議通過突出。所有這些工具都支持建構(gòu)促進(jìn)個(gè)人或協(xié)作信息消費(fèi)和管理如瀏覽、導(dǎo)航、搜索和重新發(fā)現(xiàn)、共享或分配信息。相比之下，我們的工作延伸到文檔的結(jié)構(gòu)化標(biāo)記生成機(jī)器學(xué)習(xí)標(biāo)記域和論證這種支持對(duì)人類提供的標(biāo)簽質(zhì)量的影響。此外，我們的研究表明，合理的標(biāo)注任務(wù)提出了獨(dú)特的信息管理問題，需要新的解決方案，如幫助用戶確定是否及如何組織個(gè)人文件和如何使標(biāo)簽的決定。實(shí)踐概念的演變：為更好地理解概念的演變和通知的設(shè)計(jì)，我們提出的解決方案，我們進(jìn)行了一系列的形成性研究調(diào)查概念的演變?cè)趯?shí)踐中(即，在涉及人標(biāo)記數(shù)據(jù)的情況下，機(jī)器學(xué)習(xí)系統(tǒng))。從這些研究的意見和反饋通知我們的最后的原型，如討論的結(jié)構(gòu)化標(biāo)記和援助部分。交互式機(jī)器學(xué)習(xí)中的概念演變：甚至有經(jīng)驗(yàn)的機(jī)器學(xué)習(xí)者，同時(shí)發(fā)展他們的概念。我們?cè)谝粋€(gè)大型的研究機(jī)構(gòu)問了 11 個(gè)機(jī)器學(xué)習(xí)專家，通過互動(dòng)機(jī)器學(xué)習(xí)系統(tǒng)培養(yǎng)二進(jìn)制網(wǎng)頁分類。每個(gè)專家標(biāo)記的數(shù)據(jù)根據(jù)其選擇的概念，從列表中選擇開放目錄項(xiàng)目的主題(例如，攝影，就業(yè)，和數(shù)學(xué))。從問卷的分布在會(huì)議結(jié)束后，我們發(fā)現(xiàn)，九名參與者“定義細(xì)化他們的概念而互動(dòng)”的工具。這種概念的演變可能是查看額外的數(shù)據(jù)只有三人不同意，他們的概念演變?yōu)椤翱吹骄W(wǎng)頁”或使用其他功能所提供的工具(例如，查看錯(cuò)誤或嘗試不同的功能組合)的結(jié)果。這表明，多個(gè)因素可能引發(fā)的概念演變。有趣的是，七位與會(huì)者還指出，“我有一個(gè)明確的想法，我在開始前建?！钡母拍?。然而，這七個(gè)四也同意或中立的聲明的概念， “我是建模發(fā)展，我看到的網(wǎng)頁” ，這表明即使當(dāng)人們熟悉的概念，他們的定義，它可能仍在發(fā)展。標(biāo)簽指南創(chuàng)建過程中的概念演化：標(biāo)簽指引的時(shí)候獲取標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練或測(cè)試機(jī)器學(xué)習(xí)的目的在創(chuàng)造概念的演變，研究人員和從業(yè)者經(jīng)常制造貼標(biāo)機(jī)為了獲得一致的標(biāo)簽指南（例如，[ 16，20 ])，在一致的定義為類似項(xiàng)目具有相同的標(biāo)簽。我們采訪了兩位醫(yī)生有豐富經(jīng)驗(yàn)為人類創(chuàng)造這樣的大型組織機(jī)兩位醫(yī)生描述了典型的指導(dǎo)創(chuàng)作過程，作為一個(gè)迭代和不斷發(fā)展的結(jié)果，觀察新的數(shù)據(jù)。根據(jù)我們的采訪，一個(gè)團(tuán)隊(duì)的人首先會(huì)看到通過實(shí)例數(shù)據(jù)可能匹配他們的目標(biāo)概念。接下來，小組將討論不同的例子應(yīng)該被如何標(biāo)記，并提出了規(guī)則來解釋他們的決策。這些規(guī)則往往有針對(duì)性的困難的情況下，明確地說明如何在這樣的情況下貼標(biāo)簽，并給出具體的例子。通過貼標(biāo)機(jī)通常會(huì)有幾個(gè)回合這樣的過程直到一個(gè)相對(duì)完備的規(guī)則生成的。概念上的一致性及初始反饋的結(jié)構(gòu)標(biāo)簽的影響進(jìn)行的初步研究：我們使用一個(gè)早期原型，結(jié)構(gòu)化標(biāo)記工具，獲得反饋有關(guān)的工具可以增強(qiáng)研究概念演變的影響。這個(gè)原型展示了一個(gè)網(wǎng)頁，并要求參與者將頁面分為三類：“是” ， “不是” ，或者“可以是”(即，這是是或者不是亦可能是概念的一個(gè)例子)。此外，參與者可以在 “可能是”類別中創(chuàng)建群組，并標(biāo)記它們來提醒自己在該組中所放的東西。(在本文中，類別是指 “是” ， “不” ， “可能” ，而群是指用戶在一個(gè)類別中創(chuàng)建的項(xiàng)集合。標(biāo)簽是一個(gè)用戶提供的組描述。)我們問九的參與者從我們的第一項(xiàng)研究的標(biāo)簽 200 網(wǎng)頁使用我們的原型，并根據(jù)相同的概念，他們選擇了以前的研究。對(duì)于每一個(gè)參與者，75%的頁面是在第一項(xiàng)研究中標(biāo)記的同一頁( 在不同的順序顯示)。這項(xiàng)研究發(fā)生后約四周后的第一項(xiàng)研究。研究參與者的高級(jí)別標(biāo)簽( 即， “是” ，“沒有”和“可能是”類別)的一致性，從第一次研究發(fā)現(xiàn)，平均參與者只有 81.7%(標(biāo)準(zhǔn)差= 6.8%)與他們以前的標(biāo)簽。麥克尼馬爾對(duì)稱測(cè)試也顯示了九個(gè)受試者的標(biāo)簽變化顯著。從一開始研究，這種缺乏一致性意味著從這些標(biāo)簽中學(xué)習(xí)的模型會(huì)有所不同，即使對(duì)于同一人的概念定義相同的概念，其概念定義之間的標(biāo)記會(huì)話顯著發(fā)展。除了尋找概念進(jìn)化的證據(jù)，這項(xiàng)研究揭示了一些結(jié)構(gòu)性標(biāo)記的好處。圖 2 標(biāo)簽的一致性(每名參與者 )在相同的數(shù)據(jù)標(biāo)記約四周的距離，暗欄顯示顯著差異首先，所有九個(gè)參與者創(chuàng)建組(中位數(shù)為六組，每組三頁)。我們手動(dòng)注明每個(gè)組和確定，大多數(shù)組(76%)是局部的性質(zhì)(例如， “計(jì)算相關(guān)”或“ 數(shù)學(xué)家組”的數(shù)學(xué)概念) 。其他有關(guān)物品的人想重溫的原因不同，本質(zhì)上決定推遲直到他們有一個(gè)更好的了解的數(shù)據(jù)(例如，“混合內(nèi)容” 、 “更多的信息需要”)。這個(gè)可見的組織證明了一個(gè)參與者自己的話： “允許我組織下我的想法。 ”更進(jìn)一步，與會(huì)者認(rèn)為看到的結(jié)構(gòu)使標(biāo)簽壓力較小，因?yàn)樗麄兛梢院苋菀椎乜吹胶托薷乃麄兊臉?biāo)簽, 這是必要的， “我喜歡的結(jié)構(gòu)。 ”這是一種更柔軟的標(biāo)簽。結(jié)構(gòu)化的標(biāo)簽和輔助：在這一節(jié)中，我們描述了我們的結(jié)構(gòu)化標(biāo)記和輔助結(jié)構(gòu)的標(biāo)簽原型，并與我們的設(shè)計(jì)決定回到我們的形成性研究的結(jié)果。結(jié)構(gòu)化標(biāo)簽原型：我們的結(jié)構(gòu)化標(biāo)簽原型允許用戶組織數(shù)據(jù)在一個(gè)傳統(tǒng)的標(biāo)簽計(jì)劃(例如，相互排斥的類別，如“是” ， “不”和“可能是”)通過分組和標(biāo)記。該系統(tǒng)提供了一個(gè)頁面的用戶，他們可以拖動(dòng)到標(biāo)記區(qū)域創(chuàng)建一個(gè)新的組或添加它現(xiàn)有的組。用戶可以手動(dòng)添加標(biāo)簽來描述每一組，以幫助召回。在我們的形成性研究的早期版本，我們的結(jié)構(gòu)化標(biāo)簽原型，我們只允許用戶在“可能是”類別，我們認(rèn)為用戶只希望結(jié)構(gòu)寬松的項(xiàng)目。然而，我們的一些參與者集中在“是”和“沒有”的類別里，理由是希望保留和重新審視組，所以他們可以決定是否每個(gè)組的概念(即，移動(dòng)組之間“可能 ”， “是”或“沒有”類) 。輔助結(jié)構(gòu)：在我們的形成性研究中，我們觀察到參與者遇到障礙，一些結(jié)構(gòu)化的能力。在這里，我們描述了額外的支持，我們?cè)O(shè)計(jì)，以幫助用戶克服這些障礙。這些支持包括我們的輔助結(jié)構(gòu)的標(biāo)記工具的一部分。幫助用戶回憶參與者經(jīng)常有麻煩記住他們放置在每個(gè)組。雖然他們可以標(biāo)記每個(gè)組的文本描述，許多參與者并沒有開始使用此功能，后來后悔沒有時(shí)間標(biāo)記組。作為一個(gè)參與者說：“現(xiàn)在我想插入一個(gè)標(biāo)題” ，幫助用戶記憶組的內(nèi)容，我們?cè)黾游覀兊慕Y(jié)構(gòu)化標(biāo)記工具來自動(dòng)生成并顯示每個(gè)組的文本摘要。用戶仍然可以手動(dòng)提供標(biāo)簽，除了這些摘要。我們嘗試過用雙包，創(chuàng)建文本摘要的方法。起初，我們認(rèn)為是Web 頁面的內(nèi)容在每一組作為一個(gè)集合的話(即詞集的所有頁在一組) ，并選擇最常見的從包的話，頻率通過共同的長(zhǎng)期文檔頻率(TF-IDF)計(jì)算措施[ 22 ]。然而，我們發(fā)現(xiàn)，所得到的話是很難解釋的背景下。然后，我們轉(zhuǎn)向一個(gè)語料庫的搜索查詢信息，從一個(gè)流行的搜索引擎。因此，每一個(gè)網(wǎng)頁都是由一組搜索查詢?cè)~來表示，實(shí)際的人們通過搜索引擎來查找網(wǎng)頁。因?yàn)檫@樣的短語通常是短而有針對(duì)性的，我們相信他們可能會(huì)產(chǎn)生更清晰的總結(jié)。因此，我們將考慮每一組網(wǎng)頁作為一個(gè)包的話，同樣的方法，這一次由搜索查詢?cè)~，并選擇詞語具有最高的來顯示我們的總結(jié)。直觀地說，在每個(gè)組中，最重要的搜索詞是用來查找網(wǎng)頁的最重要的搜索詞。這些摘要隨著組內(nèi)內(nèi)容的改變，實(shí)時(shí)更新。幫助用戶決定在我們形成的研究小組項(xiàng)目，我們觀察到的人有麻煩，決定哪些組的項(xiàng)目時(shí)，他們有幾個(gè)組的相關(guān)內(nèi)容：“我記得看到這樣的一頁，但我不記得我做了什么決定” ，以幫助人們決定哪組可能是最適合每個(gè)新項(xiàng)目，我們?cè)黾恿私M的建議，我們的結(jié)構(gòu)化標(biāo)記工具。圖 3 我們的輔助結(jié)構(gòu)工具為用戶提供了每個(gè)組的內(nèi)容的自動(dòng)摘要(下面的用戶提供的標(biāo)簽面積)，并建議通過動(dòng)畫和黃色的星星顯示器的當(dāng)前項(xiàng)目組，黑色方塊表示每個(gè)組中有多少個(gè)項(xiàng)目。建議通過計(jì)算一個(gè)新的項(xiàng)目和每個(gè)組的相似性，與最相似的組推薦。我們計(jì)算的項(xiàng)目組相似的新項(xiàng)目和最相似的項(xiàng)目組(即，我們之間的相似性的新項(xiàng)目和一組的所有成員之間的相似性，然后選擇最短的鏈接的相似性值)。我們計(jì)算的項(xiàng)目 -項(xiàng)目相似性通過共同的余弦相似性度量在每個(gè)項(xiàng)目的內(nèi)容表示。小組建議中使用的“擺動(dòng)”動(dòng)畫組提請(qǐng)用戶注意的界面和靜態(tài)指標(biāo)可見推薦組內(nèi)(圖 3 中的“明星”圖標(biāo))。幫助用戶決定何時(shí)和如何在我們學(xué)做決定，我們觀察到受試者不想付出努力的標(biāo)記或分組“離群”：“如果有一個(gè)以上的頁數(shù)或幾個(gè)頁上同一財(cái)產(chǎn)那么我會(huì)考慮的，否則我不會(huì)。 ”其他參與者說看到多個(gè)相關(guān)項(xiàng)目幫助他們決定如何應(yīng)標(biāo)記：“一旦你在一組，看到很多，它可以幫助你決定” ，幫助人們判斷一個(gè)項(xiàng)目是一個(gè)離群或多個(gè)類似的項(xiàng)目，包括一個(gè)顯示最相似的標(biāo)簽頁的項(xiàng)目目前正在標(biāo)記(圖示水平顯示在圖 1 的底部)。集團(tuán)的建議相似的項(xiàng)目使用相同的項(xiàng)目，項(xiàng)目采取相似的措施。評(píng)估結(jié)構(gòu)化的標(biāo)簽：我們的結(jié)構(gòu)化標(biāo)記工具的目的是幫助人們一致的定義和改進(jìn)他們的概念，因?yàn)樗麄冇^察到的數(shù)據(jù)。因此，我們?cè)O(shè)計(jì)了一個(gè)對(duì)照實(shí)驗(yàn)，比較結(jié)構(gòu)化的標(biāo)簽，在機(jī)器學(xué)習(xí)中的標(biāo)簽質(zhì)量、速度和使用以及偏好結(jié)構(gòu)，以幫助定義概念的傳統(tǒng)標(biāo)簽。實(shí)驗(yàn)條件和任務(wù)條件：用三個(gè)接口來支持手動(dòng)構(gòu)建條件結(jié)構(gòu)化標(biāo)記(但沒有任何自動(dòng)援助)，在輔助構(gòu)建支持自動(dòng)援助條件及在代表傳統(tǒng)的標(biāo)記為互斥的基線條件下， “不”和“可以”類和“沒有”結(jié)構(gòu)的支持(即手動(dòng)界面沒有創(chuàng)造增長(zhǎng)的能力結(jié)構(gòu)化決策 (例如，概念熟悉度，在數(shù)據(jù)中存在的固有結(jié)構(gòu))。因此，我們優(yōu)先考慮影響了我們的主要目標(biāo)的以下幾點(diǎn)要求：所有參與者應(yīng)該相當(dāng)熟悉每項(xiàng)任務(wù)的目標(biāo)概念，這可能是對(duì)標(biāo)記概念缺乏了解造成的( 例如，一個(gè)熟悉“馬術(shù) ”的人可能會(huì)對(duì)不是馬術(shù)或不相關(guān)的標(biāo)簽項(xiàng)感到沮喪 )。每個(gè)任務(wù)應(yīng)包含物品標(biāo)簽相同數(shù)量和大約相同比例的項(xiàng)目可能屬于，不屬于，可能屬于目標(biāo)概念(即項(xiàng)目可能被標(biāo)記為“ 是” ， “不”和“可以”) 。這是為了減少任何影響標(biāo)簽類的標(biāo)記速度，作為我們的形成性研究表明，明確的正面和負(fù)面的項(xiàng)目通常比曖昧的項(xiàng)目更容易也更快的進(jìn)行標(biāo)簽。我們的目標(biāo)是百分之三十/百分之三十/百分之四十產(chǎn)品的標(biāo)簽( 可能是分裂的， “不”和“可以”)，讓更多的 “可能”項(xiàng)目，我們希望在這類標(biāo)簽中看到更多的結(jié)構(gòu)。每個(gè)任務(wù)應(yīng)該在曖昧類含有等量的大致結(jié)構(gòu)。這是為了減少標(biāo)簽的速度和決策的結(jié)構(gòu)上的差異的影響。其次，就是因?yàn)槲覀兊男纬尚匝芯?，一些與會(huì)者評(píng)論說，有太多的群體需要做太多的決定。我們專注于結(jié)構(gòu)相似的“可能是”類，因?yàn)槲覀兤谕嗟慕Y(jié)構(gòu)和更困難的結(jié)構(gòu)決定的曖昧項(xiàng)目。每個(gè)任務(wù)應(yīng)包含大致可合理解釋為屬于一對(duì)相同數(shù)量的項(xiàng)目。檢查對(duì)應(yīng)所屬的項(xiàng)目(即，應(yīng)具有相同的標(biāo)簽 )是我們的用于測(cè)量標(biāo)簽質(zhì)量預(yù)期機(jī)制。另一種方法是比較機(jī)器學(xué)習(xí)模型內(nèi)置的標(biāo)記數(shù)據(jù)所產(chǎn)生的每個(gè)參與者的性能。然而，這樣的模型會(huì)受許多因素(例如，概念的復(fù)雜性，特征質(zhì)量 )的影響，因此，模型性的差異不能完全歸因于標(biāo)簽質(zhì)量。這是特別真實(shí)的小數(shù)據(jù)集，其中一個(gè)大量的方差預(yù)期[ 8 ]。因此，在監(jiān)督機(jī)器學(xué)習(xí)的前提下，類似的輸入應(yīng)該有類似的輸出[ 18 ]，對(duì)類似項(xiàng)目的標(biāo)簽的一致性是一個(gè)合理的標(biāo)簽質(zhì)量代理。要?jiǎng)?chuàng)建這些任務(wù)，我們又打開了目錄項(xiàng)目。首先，我們選擇的候選概念符合我們的熟悉要求(例如，與日?；顒?dòng)有關(guān)的概念，如烹飪相關(guān)的網(wǎng)頁 )。然后，我們的兩個(gè)實(shí)驗(yàn)者獨(dú)立編碼約 160 的網(wǎng)頁為每個(gè)候選概念。這些網(wǎng)頁是從一個(gè)開放式目錄項(xiàng)目數(shù)據(jù)庫中的約 180000 頁的語料庫中選取的。大約有一半的網(wǎng)頁被列為數(shù)據(jù)庫中的概念的一部分，并有一半是隨機(jī)抽取的，其余的則是在數(shù)據(jù)庫中隨機(jī)抽取的。編碼器的應(yīng)用三個(gè)高級(jí)代碼的網(wǎng)頁(“ 是” ， “不”和“可以”) 也創(chuàng)建了自己的網(wǎng)頁。然后我們選擇編碼約定的網(wǎng)頁，基于直覺，雖然人們可能會(huì)標(biāo)記一些不同的數(shù)據(jù)，他們也可能同意一些決定(例如，概念上人們可能不同意一個(gè)網(wǎng)頁包含餐飲服務(wù)與烹飪，但很多人可能會(huì)認(rèn)為一個(gè)頁面可以包含配方與烹飪)。因此，選擇項(xiàng)目有助于確保任務(wù)包含的數(shù)據(jù)符合我們的規(guī)定要求(例如，有類似的比例， “是” ， “不”和“可能”以及類似比例的結(jié)構(gòu) )。在整個(gè)過程中，我們消除了候選數(shù)據(jù)集的方式，打破了我們的要求。我們最后一組任務(wù)涉及到烹飪，旅行和園藝的概念。我們獲得了 54 個(gè)手動(dòng)編碼的項(xiàng)目，每個(gè)任務(wù)的 “是” ， “不”和“可能是”分別為 16 / 16 / 22 項(xiàng)。編碼約定每個(gè)數(shù)據(jù)集包含六到七組內(nèi)的“可以”類。然后在我們的語料庫的開放目錄項(xiàng)目頁面的基礎(chǔ)上，我們補(bǔ)充了這個(gè)數(shù)據(jù)集的 54 個(gè)額外的項(xiàng)目選擇的每個(gè)手動(dòng)編碼項(xiàng)(用余弦相似比表示 )。因此我們的最后任務(wù)包含 108 項(xiàng)標(biāo)簽。請(qǐng)注意，我們?cè)诒疚闹杏懻摰姆治?，我們使用所有的?shù)據(jù)(手動(dòng)編碼和補(bǔ)充數(shù)據(jù) )來衡量標(biāo)記的速度，但只使用手動(dòng)編碼的數(shù)據(jù)來衡量標(biāo)簽的一致性，以確保我們認(rèn)為，作為對(duì)的項(xiàng)目應(yīng)該確實(shí)屬于一起。參與者和過程：十五參與者被招募從一個(gè)大型軟件公司為這個(gè)實(shí)驗(yàn)(六名女性) ，年齡從 22 歲至 45 歲。所有參與者每周至少 30-40 小時(shí)使用電腦 (40-50 小時(shí)中位數(shù))。沒有參與者在機(jī)器學(xué)習(xí)的背景下，只有一個(gè)作為一個(gè)軟件開發(fā)人員( 其余的程序管理或在非開發(fā)部門，如市場(chǎng)營(yíng)銷和法律)。我們采用被試內(nèi)設(shè)計(jì)研究，平衡接口階拉丁方。因?yàn)槲覀儧]有想到概念有任務(wù)間殘留的影響，我們固定的任務(wù)，烹飪，旅行，然后園藝在每一項(xiàng)任務(wù)之前，參與者都會(huì)給他們一個(gè)簡(jiǎn)短的介紹，他們將使用的接口，任務(wù)和時(shí)間來練習(xí)。我們使用相同的概念庫的實(shí)踐任務(wù)。對(duì)于每一個(gè)實(shí)際的任務(wù)，我們要求參與者分類的網(wǎng)頁，無論你認(rèn)為他們是關(guān)于烹飪、園藝、旅行，根據(jù)自己的目標(biāo)概念的定義。所有與每個(gè)接口的相互作用被記錄。參與完成每一項(xiàng)任務(wù)，參與者填寫一份問卷，測(cè)量他們對(duì)所使用的接口的態(tài)度。完成所有三項(xiàng)任務(wù)后制定一個(gè)最終的問卷調(diào)查來詢問參與者對(duì)不同接口的整體偏好。結(jié)果：從我們的實(shí)驗(yàn)中收集的數(shù)據(jù)來看，我們的分析分為四大類：工具的使用，標(biāo)簽的質(zhì)量，標(biāo)簽的速度和用戶的態(tài)度和喜好。除非另有說明，否則我們計(jì)算的定量比較將采用弗里德曼法檢驗(yàn)和校正。結(jié)構(gòu)化標(biāo)記支持的使用：具有結(jié)構(gòu)數(shù)據(jù)的能力并不意味著人們會(huì)真正這樣做，因?yàn)槲覀儧]有要求參與者使用結(jié)構(gòu)化支持，我們能夠調(diào)查他們自己的意義結(jié)構(gòu)是否將超過他們的時(shí)間和努力成本的結(jié)構(gòu)(根據(jù)關(guān)注投資理論 [ 6 ]，人們不會(huì)把注意力投入活動(dòng)，除非他們認(rèn)為收益將超過成本)。如果參與者沒有感覺的結(jié)構(gòu)化標(biāo)記是有用的，我們希望看到的組數(shù)之間沒有差異。然而，我們發(fā)現(xiàn)，參與者確實(shí)利用結(jié)構(gòu)(圖 4，左)完成與更多的人群與結(jié)構(gòu)化的標(biāo)記條件比基線的研究(X2 ＝20.19，DF = 2，P＜0.001) 。成對(duì)的測(cè)試證實(shí)，這兩個(gè)手冊(cè)(001)和輔助(對(duì) 001)的結(jié)構(gòu)化標(biāo)記導(dǎo)致群體比我們的基線 (有三個(gè)永久性組)更多。這表明，參與者感覺構(gòu)建標(biāo)簽的收益超過這樣做的成本效益。正如預(yù)期的那樣，參與者最經(jīng)常在“可能是”類別的結(jié)構(gòu)化頁面。一些與會(huì)者也在“是”的類別中，但很少有結(jié)構(gòu)是“沒有”類別。這很可能是因?yàn)椤皼]有”類別包含了更廣泛的各種無關(guān)的網(wǎng)頁，使結(jié)構(gòu)似乎不太有用或更耗時(shí)。圖 4(右) 也顯示， “可能是”群體往往比“是”組大，這反過來又往往比“沒有”組小。我們的結(jié)構(gòu)化標(biāo)記的原型的使用也顯示概念進(jìn)化的證據(jù)。兩兩測(cè)試手冊(cè)中，參與者修改結(jié)構(gòu)(即類別組或組之間移動(dòng)頁面之間 )比基線標(biāo)注更常使用結(jié)構(gòu)化的標(biāo)記條件，相對(duì)于基線(X2＝8.93，DF = 2，P = 0.011)他們每半年均會(huì)表現(xiàn)出更多的修改(P =0.006)和輔助(P = 0.024)。有趣的是，每個(gè)標(biāo)簽也會(huì)在下半年也觀察到的差異(X2＝8.04，DF = 2，P = 0.018)，然而，只有手動(dòng)狀態(tài)顯示翻修期間(P = 0.012)。這些結(jié)果表明，結(jié)構(gòu)化的標(biāo)簽鼓勵(lì)概念的演變和輔助結(jié)構(gòu)的支持，可能會(huì)使人們能夠手動(dòng)構(gòu)造單獨(dú)鞏固自己的概念定義。有趣的是，每個(gè)標(biāo)簽也會(huì)在下半年也觀察到的差異(X2＝8.04，DF = 2，P = 0.018)，然而，只有手動(dòng)狀態(tài)顯示翻修期間(P = 0.012)。圖 4 (左)在實(shí)驗(yàn)結(jié)束后組平均數(shù) (淺色為否，暗色為是)。(右)每個(gè)組的平均數(shù)目(相同)。這些結(jié)果表明，結(jié)構(gòu)化的標(biāo)簽鼓勵(lì)概念的演變和輔助結(jié)構(gòu)的支持，可能會(huì)使人們能夠手動(dòng)構(gòu)造單獨(dú)鞏固自己的概念定義。圖 5(右邊)顯示了人工和輔助結(jié)構(gòu)參與者之間的另一個(gè)差異，在使用手動(dòng)條件比輔助條件下，重新審視更多的頁面。這會(huì)在下半年(X2＝12，DF = 2， P = 0.02)兩兩測(cè)試這段時(shí)間確認(rèn)手動(dòng)較基線(P = 0.05)和輔助(P = 0.05)有更明顯的標(biāo)記。其次，這種差異可能是由于輔助構(gòu)建內(nèi)容通過總結(jié)回顧造成的集團(tuán)支持(減少了需要手動(dòng)檢查一組的內(nèi)容)或者推薦組(減少創(chuàng)建的基團(tuán)的數(shù)目以及減少一些回顧 )。圖 5 在上半年的實(shí)驗(yàn) (亮)和最后一半(暗)，平均數(shù)量的網(wǎng)頁和團(tuán)體參加修訂(左)或重新審視(右)。我們比較標(biāo)簽質(zhì)量的機(jī)制是衡量這兩個(gè)獨(dú)立的編碼器應(yīng)該屬于一起的項(xiàng)目對(duì)標(biāo)簽的一致性(條件和任務(wù)下的描述)。我們通過調(diào)整 Rand 指數(shù)(ARI)計(jì)算標(biāo)簽的一致性[ 17 ]，如常見的建議之間的一些數(shù)據(jù)劃分計(jì)算協(xié)議度量(由我們參與標(biāo)簽定義 )和一些地面真理(通過數(shù)據(jù)我們的編碼約定定義)[ 25 ]。直觀地說，阿里計(jì)算對(duì)應(yīng)的比例已經(jīng)結(jié)束了調(diào)整分組在一起的機(jī)會(huì)(或不 )。我們用“可能”的項(xiàng)目，我們兩個(gè)實(shí)驗(yàn)者獨(dú)立標(biāo)記和同意我們的地面真實(shí)的分區(qū)(即，在一對(duì)組合在一起的代碼被認(rèn)為是相似的，那些不在一起是不一樣的) 。注意是否有嘉賓認(rèn)為任何一項(xiàng)屬于自己的概念當(dāng)中在“是”的范疇，該措施仍將它們標(biāo)記為在一起，即使我們的地面真理標(biāo)記這些在一起的一組可能的類別) 。我們的分析顯示出顯著的影響界面狀態(tài)對(duì)標(biāo)簽的一致性根據(jù) ARI 度量(X2 ＝6.53，DF = 2，P＜0.038)。成對(duì)測(cè)試表明參與者標(biāo)記更一貫在數(shù)據(jù)手冊(cè)(Z = -2.329，P = 0.02)和輔助結(jié)構(gòu) (Z = -2.329，P =0.02)的條件下比在基線條件。沒有發(fā)現(xiàn)不同的手冊(cè)和輔助結(jié)構(gòu)化標(biāo)記條件之間(Z = -0.852，P = 0.394)的區(qū)別。這些結(jié)果( 如圖 6 所示) 表明，結(jié)構(gòu)化的標(biāo)簽確實(shí)提高了參與者的標(biāo)記數(shù)據(jù)的質(zhì)量，幫助他們以更一致的方式來標(biāo)記項(xiàng)目。標(biāo)簽速度:調(diào)查結(jié)構(gòu)的影響.我們測(cè)量了總的時(shí)間，它參加了在每個(gè)條件下完成的標(biāo)簽任務(wù)。我們發(fā)現(xiàn)，在基線條件下的參與者完成了大約 10 分鐘，平均標(biāo)記，與近 15 分鐘的結(jié)構(gòu)化標(biāo)記條件(X2＝14.93，DF = 2，P＜0.001)。成對(duì)的測(cè)試顯示，基線和手動(dòng)(0.003)和基線和輔助(對(duì) 0.001)結(jié)構(gòu)化標(biāo)記工具之間的差異(圖 7)。我們還研究了如何快速參與者最初標(biāo)記的個(gè)人網(wǎng)頁，每個(gè)接口。也就是說，我們測(cè)量了參與者在第一次出現(xiàn)的時(shí)候，他們的第一次，然后決定了它的初始標(biāo)簽。我們沒有時(shí)間可以花了重新的網(wǎng)頁的時(shí)候，精煉他們的概念。從這個(gè)分析中，我們發(fā)現(xiàn)了一個(gè)不同的初始標(biāo)簽速度之間的基線和手動(dòng)的結(jié)構(gòu)化標(biāo)記(與基線快) ，但無差異之間的基線和輔助結(jié)構(gòu)化標(biāo)記(X2 ＝6.40，DF = 2，P =0.040；成對(duì)測(cè)試基線和手動(dòng) P = 0.016，與其他對(duì)之間的差異無統(tǒng)計(jì)學(xué)意義)。這些結(jié)果表明，我們的輔助支持可能有助于減輕一些結(jié)構(gòu)化標(biāo)簽的成本。此外，我們檢查了很久，它參加了最初的標(biāo)簽的第一個(gè) 50%頁與過去 50%，直覺上一旦他們的結(jié)構(gòu)建立，人們可能會(huì)更快地應(yīng)用標(biāo)簽。雖然從開始到結(jié)束的速度上我們發(fā)現(xiàn)顯著的差異，但我們發(fā)現(xiàn)了他們的任務(wù)結(jié)束時(shí)的基線和手動(dòng)之間的差異以及基線和輔助條件的下降(圖 8)。圖 6 編碼對(duì)的平均一致性(經(jīng)調(diào)整的蘭德指數(shù)計(jì)算)。參與者者顯著更一致，工作與結(jié)構(gòu)化的標(biāo)記工具。這些變化可能是由于一個(gè)穩(wěn)定的參與者進(jìn)展的結(jié)構(gòu)變化。事實(shí)上，檢查時(shí)，參與者修改了他們的結(jié)構(gòu)，我們發(fā)現(xiàn)，100 頁，重新檢查至少一次在所有的用戶，69 人提出了在上半年的任務(wù)，而只有 31 個(gè)在下半年提出。用戶的態(tài)度和喜好，以揭示一個(gè)更大的圖片的影響，結(jié)構(gòu)化的標(biāo)簽，我們檢查每個(gè)接口的用戶的態(tài)度和喜好，以及他們的自我報(bào)告的概念變化。在研究結(jié)束時(shí)，我們要求參與者按優(yōu)先順序排列每個(gè)工具。圖 7 標(biāo)記任務(wù)的平均時(shí)間(分鐘)。使用基準(zhǔn)工具比結(jié)構(gòu)化標(biāo)記工具完成任務(wù)的任務(wù)更快地完成任務(wù)。圖 8 平均時(shí)間(秒)，它表示了最初的標(biāo)簽每一個(gè)項(xiàng)目(輕=前 54 個(gè)標(biāo)簽，黑暗=最后54 個(gè)標(biāo)簽，中等=平均)。參與者是最慢的結(jié)構(gòu)化標(biāo)記工具。圖 9 排名每個(gè)工具的參與者作為自己最喜歡的(淺顏色)和最不喜歡的(黑暗)。輔助結(jié)構(gòu)的標(biāo)簽有最喜歡的和最不喜歡的排名最低數(shù)量圖 9 顯示了一個(gè)向上的趨勢(shì)與更多的參與者排名的手動(dòng)結(jié)構(gòu)化工具作為自己的喜愛基線，和作為自己的最愛更多仍然排名的輔助結(jié)構(gòu)標(biāo)記工具。我們也看到了相反的趨勢(shì)，參與者最不喜歡的工具，與基線工具排名最經(jīng)常。與會(huì)者的意見提供了一些見解，為什么他們可能有首選的輔助結(jié)構(gòu)工具。例如，一些與會(huì)者贊賞小組建議：“可能的權(quán)力？”它幫助了排序過程，但也使你下意識(shí)地說“等待” ，這是不正確的。輔助分組是最好的，因?yàn)槟阏娴目梢?。這三個(gè)簡(jiǎn)單的分類是最快的，同樣，另一位參與者表示，如果沒有推薦功能，他將優(yōu)先使用非結(jié)構(gòu)化的標(biāo)記工具( 他作為自己的第二個(gè)最喜歡的工具 )，因?yàn)樗遣粡?fù)雜的：“簡(jiǎn)單的可以是有用的。建議是非常有用的。分類介紹了系統(tǒng)的復(fù)雜性” 。這一觀點(diǎn)認(rèn)為，簡(jiǎn)單的可以是有用的是由其他參與者，特別是三誰更喜歡的非結(jié)構(gòu)化標(biāo)記工具。然而，即使是在這個(gè)群體中，有一種意識(shí)，在正確的情況下，輔助結(jié)構(gòu)工具可能是有用的。我最喜歡的更簡(jiǎn)單的，但當(dāng)我不知道這個(gè)主題很好，如“園藝” ，我希望在相似的頁面(圖 6)看到編碼對(duì)的平均一致性(經(jīng)調(diào)整的蘭德指數(shù)計(jì)算 )。參加者更一致的工作可以用來幫助我進(jìn)行分類。另一位與會(huì)者還討論了如何在不熟悉的主題工作，特別有幫助，包括工具如何幫助她在她的腦海中保持更多的類別：我認(rèn)為我不太熟悉這個(gè)主題，所以在我的腦海中，我想有更多類別。最后，值得注意的是，參與者知道他們的概念定義在使用的基線界面(圖 10)。圖 10 參與者的反應(yīng)量表的問題“你的觀念轉(zhuǎn)變的頻率如何？” 。與會(huì)者報(bào)告了更多的變化而使用的結(jié)構(gòu)化標(biāo)記工具。弗里德曼秩和檢驗(yàn)顯示界面條件的主效應(yīng)顯著的概念變化的意識(shí)(X2＝9.91，DF = 2，P = 0.007)，與基線之間的兩兩比較，證實(shí)一個(gè)顯著的差異，輔助結(jié)構(gòu)化標(biāo)記(P = 0.016)。討論中，我們說明了概念演化的問題，一系列的形成性研究，表明概念的演變影響人們的能力，標(biāo)簽數(shù)據(jù)一致。然后，我們介紹了結(jié)構(gòu)化的標(biāo)簽，作為一種新的方法來處理概念演變。我們的控制實(shí)驗(yàn)表明，人們使用和首選的結(jié)構(gòu)化標(biāo)記比傳統(tǒng)的標(biāo)簽和結(jié)構(gòu)化標(biāo)簽提高標(biāo)簽的一致性。然而，我們也要重新審視我們的形成性研究，概念演變的一個(gè)發(fā)現(xiàn)，可以導(dǎo)致相同的人在不同的時(shí)間，在相同的數(shù)據(jù)的不同的標(biāo)簽決定。特別是，我們要確定，如果結(jié)構(gòu)化的標(biāo)簽可以提高標(biāo)簽的一致性，在這種情況下。我們與八機(jī)器學(xué)習(xí)專家進(jìn)行了一個(gè)小的后續(xù)研究。我們要求我們的學(xué)員 100 網(wǎng)頁標(biāo)簽從園藝概念，然后回來十天后，同一數(shù)據(jù)標(biāo)簽(數(shù)據(jù)排序是們之間的會(huì)話) 。四位參與者使用我們的基線工具，四個(gè)使用我們的輔助結(jié)構(gòu)的標(biāo)記工具。一致性是計(jì)算機(jī)在我們學(xué)員的高級(jí)分類形成的研究(例如， “是的” ， “不” ，“可以”)從第一屆到下。從這項(xiàng)研究中，我們發(fā)現(xiàn)，結(jié)構(gòu)化的標(biāo)簽有助于人們到達(dá)更一致的結(jié)構(gòu)化決策時(shí)，標(biāo)記相同的數(shù)據(jù)十天。在基線條件下的參與者表現(xiàn)出 86.3%的一致性平均(標(biāo)準(zhǔn)差= 5.3%)，而那些在結(jié)構(gòu)化標(biāo)記條件平均為 90.9%(標(biāo)清= 5.6%)。此外，利用基線接口到達(dá)顯著不同的標(biāo)簽后十天，三的參與者(通過對(duì)稱 McNemar Bowker 測(cè)試計(jì)算)，而只有一個(gè)結(jié)構(gòu)化的標(biāo)記參與者的標(biāo)簽從一個(gè)會(huì)議到下一個(gè)明顯的不同。這些研究結(jié)果表明，進(jìn)一步調(diào)查的影響，結(jié)構(gòu)化的標(biāo)簽上的一致性標(biāo)記的決定，隨著時(shí)間的推移是必要的。二進(jìn)制標(biāo)簽，但是，是不是唯一的潛在用途的結(jié)構(gòu)化標(biāo)記。其他任務(wù)，需要一致的標(biāo)簽(例如，多類分類，實(shí)體提取)可能也有好處，但更多的類或復(fù)雜的輸入管理額外的支持可能是必要的。此外，標(biāo)簽結(jié)構(gòu)本身可能是有用的人類和機(jī)器。標(biāo)記的準(zhǔn)則或規(guī)則可以直接從結(jié)構(gòu)化的標(biāo)記過程和工具，如我們的原型可以用來分享這些指南作為一個(gè)收集的典范，而不是書面的規(guī)則。機(jī)器學(xué)習(xí)者也可以從這個(gè)結(jié)構(gòu)獲益；例如，在某些群體的項(xiàng)目可以加權(quán)，模型的選擇可以探索組的不同組合，可以識(shí)別和組特異功能。結(jié)論：本文介紹了機(jī)器學(xué)習(xí)的概念演變的概念，并取得了以下成果：? 結(jié)果研究說明機(jī)器學(xué)習(xí)的概念演變的影響。新型交互技術(shù)幫助人們進(jìn)化過程中概念的標(biāo)記(結(jié)構(gòu)化標(biāo)記) ，和兩個(gè)工具實(shí)例化該技術(shù)。結(jié)果對(duì)照實(shí)驗(yàn)比較結(jié)構(gòu)化標(biāo)記傳統(tǒng)機(jī)器學(xué)習(xí)中的標(biāo)記，表明結(jié)構(gòu)使用首選的參與者和幫助他們的標(biāo)簽更一致，但成本的速度(特別是早期的標(biāo)記) 降低。結(jié)果從一個(gè)跟蹤實(shí)驗(yàn)比較標(biāo)簽一致性隨著時(shí)間的推移，表明結(jié)構(gòu)化標(biāo)記幫助參與者回憶他們的早期標(biāo)記決定增加其一致性隨著時(shí)間的推移?？傊?，這些結(jié)果揭示了廣泛部署到最終用戶的個(gè)人分類提供訓(xùn)練數(shù)據(jù)的機(jī)器學(xué)習(xí)的從業(yè)人員發(fā)展系統(tǒng)概念的演變問題的普遍性。結(jié)構(gòu)化的標(biāo)記提供了一個(gè)解決方案概念的演變，進(jìn)一步步幫助人們有意義與機(jī)器學(xué)習(xí)互動(dòng)。