學(xué)術(shù)論文復(fù)制檢測(cè)的研究進(jìn)展及新方法探討論文
隨著互聯(lián)網(wǎng)、數(shù)字圖書館和數(shù)字化分布式媒體的發(fā)展,海量信息以各種形態(tài)充斥著我們的日常生活。豐富的數(shù)字化資源給人們提供便利的同時(shí),也給復(fù)制抄襲行為提供了滋生的溫床。尤其是近幾年來,學(xué)術(shù)造假、論文剽竊等一系列學(xué)術(shù)不端事件屢見不鮮。為此,通過設(shè)計(jì)并實(shí)現(xiàn)有效的抄襲檢測(cè)系統(tǒng),從技術(shù)層面上防止學(xué)術(shù)抄襲、抵制學(xué)術(shù)造假具有重要的理論意義和使用價(jià)值。以下是學(xué)習(xí)啦小編為大家精心準(zhǔn)備的：學(xué)術(shù)論文復(fù)制檢測(cè)的研究進(jìn)展及新方法探討相關(guān)論文。內(nèi)容僅供參考，歡迎閱讀!
學(xué)術(shù)論文復(fù)制檢測(cè)的研究進(jìn)展及新方法探討全文如下：
[摘要] 綜述國(guó)內(nèi)外學(xué)術(shù)論文復(fù)制檢測(cè)的研究現(xiàn)狀，針對(duì)存在的問題提出以后研究的新思路：構(gòu)建某一學(xué)科領(lǐng)域?qū)W術(shù)論文語(yǔ)料庫(kù);以信息論為工具，針對(duì)某學(xué)科領(lǐng)域建立基于學(xué)術(shù)論文語(yǔ)料庫(kù)的統(tǒng)計(jì)語(yǔ)言模型;結(jié)合學(xué)術(shù)論文抄襲剽竊的特點(diǎn)，通過賦予描述資源對(duì)象語(yǔ)義信息的不同元數(shù)據(jù)項(xiàng)以不同的權(quán)函數(shù)，設(shè)計(jì)相似度算法;使用Lemur工具箱，在標(biāo)準(zhǔn)的TREC文檔集上對(duì)模型和算法進(jìn)行檢驗(yàn);與Turnitin偵探剽竊系統(tǒng)進(jìn)行實(shí)驗(yàn)對(duì)比，評(píng)價(jià)該模型和算法的有效率和效果。
[關(guān)鍵詞] 學(xué)術(shù)論文 復(fù)制檢測(cè) 抄襲剽竊檢測(cè) 統(tǒng)計(jì)語(yǔ)言模型 文本相似度算法
自從方舟子的“新語(yǔ)絲”使原本長(zhǎng)期存在于學(xué)術(shù)界的學(xué)術(shù)不端暴露出來之后，學(xué)術(shù)論文抄襲剽竊引起社會(huì)的廣泛關(guān)注。抄襲剽竊的表現(xiàn)形式多種多樣：有些只是在語(yǔ)言文字的表達(dá)形式上做手腳，換成同義詞或顛倒語(yǔ)句的表達(dá)順序，在文章框架、主要觀點(diǎn)和主要論據(jù)上卻沒有大的變化;有些直接大段地“引用”別人的內(nèi)容;有些綜合運(yùn)用多種手段，將多篇?jiǎng)e人的文章拼湊而成自己的;有些“學(xué)術(shù)高手”直接拿國(guó)外的論文翻譯成中文發(fā)表，等等。抄襲和剽竊“手段”的越來越“高明”，給抄襲剽竊檢測(cè)帶來很大困難。抄襲檢測(cè)又叫復(fù)制檢測(cè)、剽竊檢測(cè)或副本檢測(cè)，根據(jù)檢測(cè)對(duì)象性質(zhì)不同可分為圖像、聲音和文本復(fù)制檢測(cè)。學(xué)術(shù)論文抄襲檢測(cè)是文本復(fù)制檢測(cè)的一種，歸根到底是判斷兩篇學(xué)術(shù)論文的相似程度。“召回率”和“精準(zhǔn)率”是判斷檢測(cè)算法好壞的兩個(gè)重要指標(biāo)。為了進(jìn)一步提高學(xué)術(shù)論文復(fù)制檢測(cè)判斷的準(zhǔn)確率，針對(duì)學(xué)術(shù)論文的文檔相似度算法的改進(jìn)和創(chuàng)新研究變得尤為重要。
1 國(guó)內(nèi)外研究現(xiàn)狀及存在的問題
1.1 國(guó)外研究現(xiàn)狀
國(guó)外具有代表性的文檔相似度算法主要有以下幾種：①M(fèi)anber提出一個(gè)sif工具，其“近似指紋”是用基于字符串匹配的方法來度量文件之間的相似性;②Brin等在“數(shù)字圖書館”工程中首次提出文本復(fù)制檢測(cè)機(jī)制COPS(copy protection system)系統(tǒng)與相應(yīng)算法，奠定了論文抄襲檢測(cè)系統(tǒng)的基礎(chǔ);③Garcia-Molin提出SCAM(Stanford copy analysis method)原型，改進(jìn)了COPS系統(tǒng)，用于發(fā)現(xiàn)知識(shí)產(chǎn)權(quán)沖突。他使用基于詞頻統(tǒng)計(jì)的方法來度量文本相似性，后來把檢測(cè)范圍從單個(gè)注冊(cè)數(shù)據(jù)庫(kù)擴(kuò)展到分布式數(shù)據(jù)庫(kù)上以及在Web上探測(cè)文本復(fù)制的方法;④貝爾實(shí)驗(yàn)室的Heintze開發(fā)了KOALA系統(tǒng)用于剽竊檢測(cè)，采用與sif基本相同的算法;⑤si和Leong等人建立的CHEC系統(tǒng)首次把文檔結(jié)構(gòu)信息引入到文本相似性度量中;⑥Stein提出一種方法，這種方法能產(chǎn)生一種“指紋”，在某種程度上能有效防止修改;⑦M(jìn)eyerzuEissen等提出通過根據(jù)寫作風(fēng)格上的變化來分析單篇文檔，從而決定是否有潛在抄襲;⑧美國(guó)學(xué)校首先引入Tumitin偵探剽竊數(shù)據(jù)庫(kù)，用于防止論文抄襲，此外還有其他類似軟件系統(tǒng)用于進(jìn)行文檔相似度分析。當(dāng)然不同的檢測(cè)系統(tǒng)其相似度算法的精度也不盡相同。
1.2 國(guó)內(nèi)研究現(xiàn)狀
國(guó)內(nèi)關(guān)于論文抄襲剽竊檢測(cè)方面已有一些研究：①?gòu)埶?#65533;通過對(duì)中文文本進(jìn)行自動(dòng)分詞，然后計(jì)算它們的相似度，從而判別文本是否抄襲，其對(duì)應(yīng)裝置包括：樣本輸入裝置、樣本數(shù)據(jù)庫(kù)、自動(dòng)分句分詞裝置、分詞數(shù)據(jù)庫(kù)、預(yù)處理裝置、特征詞數(shù)據(jù)庫(kù)、相似判別裝置、判別結(jié)果輸出裝置和控制處理裝置等。②鮑軍鵬通過文本的結(jié)構(gòu)信息和語(yǔ)義信息提取文本特征，是通過運(yùn)用文本剽竊判定模塊中設(shè)定的探針法，估計(jì)待檢測(cè)文本特征和特征庫(kù)中的文本特征的最大共同語(yǔ)義，并給出文本雷同度量，從而判別文本是否抄襲。③沈陽(yáng)是通過先找到存儲(chǔ)空間內(nèi)的格式遺留，再將這些遺留格式附近文檔的關(guān)鍵詞或/和句子或/和段落與文獻(xiàn)庫(kù)中的文獻(xiàn)內(nèi)容進(jìn)行比較，從而減少被檢測(cè)文檔的數(shù)據(jù)量，加快了反剽竊或轉(zhuǎn)載文檔檢測(cè)速度。④張履平通過對(duì)已植入水印的文章進(jìn)行特征擷取，根據(jù)所取得的詞匯輸入搜尋引擎以搜尋相關(guān)可疑文章;根據(jù)與原文比對(duì)結(jié)果取得的句子進(jìn)行水印解析;將所取得的水印信息與原來的水印比對(duì)，從而判斷是否為剽竊。⑤金博等則對(duì)基于篇章結(jié)構(gòu)相似度的復(fù)制檢測(cè)算法有一些研究。
1.3 存在的問題
事實(shí)上，由于剽竊形式的多樣性和隱蔽性、語(yǔ)法和句法的復(fù)雜性等，目前主要采用的“數(shù)字指紋”和詞頻統(tǒng)計(jì)兩大類抄襲識(shí)別技術(shù)已經(jīng)不能滿足實(shí)際的剽竊檢測(cè)需求，會(huì)造成很多漏檢和誤檢，其“召回率”和“精準(zhǔn)率”都有待提高。歸根到底是因?yàn)槠錂z索模型有待突破，算法亟待改進(jìn)或需創(chuàng)造全新的算法來針對(duì)學(xué)術(shù)論文抄襲剽竊檢測(cè)的實(shí)際。如何把握并充分利用學(xué)術(shù)論文的結(jié)構(gòu)和語(yǔ)言特征，提供具有針對(duì)性的檢索模型和相似度算法及其實(shí)現(xiàn)系統(tǒng)，對(duì)能否在異構(gòu)的分布式學(xué)術(shù)論文資源系統(tǒng)中，對(duì)抄襲剽竊檢測(cè)進(jìn)行更精確的判斷至關(guān)重要。
2 學(xué)術(shù)論文復(fù)制檢測(cè)研究的新思路
針對(duì)以上問題，筆者提出以下學(xué)術(shù)論文復(fù)制檢測(cè)研究的新思路：①建立有針對(duì)性的學(xué)術(shù)論文語(yǔ)料庫(kù);②通過對(duì)語(yǔ)料庫(kù)的深層加工、統(tǒng)計(jì)和學(xué)習(xí)，建立統(tǒng)計(jì)語(yǔ)言模型;③充分利用學(xué)術(shù)論文著錄項(xiàng)目自身的特點(diǎn)，通過將文檔結(jié)構(gòu)化，賦予元數(shù)據(jù)項(xiàng)加權(quán)系數(shù)，運(yùn)用卷積計(jì)算學(xué)術(shù)論文的相似度;④利用支持網(wǎng)絡(luò)語(yǔ)言的JAVA編程實(shí)現(xiàn)相似度算法;⑤通過將待檢測(cè)論文與數(shù)據(jù)庫(kù)中已有文獻(xiàn)對(duì)比，計(jì)算其相似度，當(dāng)相似度超過某一閾值時(shí)，則判斷該論文有抄襲的可能，如圖1所示：
3 具體方法及步驟
3.1 建立某一學(xué)科專業(yè)的學(xué)術(shù)論文語(yǔ)料庫(kù)
新一代的兆億級(jí)的大規(guī)模語(yǔ)料庫(kù)可以作為語(yǔ)言模型的訓(xùn)練和測(cè)試手段，用以評(píng)價(jià)一個(gè)語(yǔ)言模型的質(zhì)量。本文建立的語(yǔ)料庫(kù)中存放的是在學(xué)術(shù)論文語(yǔ)言的實(shí)際使用中真實(shí)出現(xiàn)過的學(xué)術(shù)論文語(yǔ)言材料;是以電子計(jì)算機(jī)為載體，承載學(xué)術(shù)資源語(yǔ)言知識(shí)的基礎(chǔ)資源;通過對(duì)真實(shí)語(yǔ)料進(jìn)行分析和處理等加工，使之成為本文的學(xué)術(shù)論文抄襲檢測(cè)模型和算法的訓(xùn)練與測(cè)試手段。
利用豐富的學(xué)術(shù)資源數(shù)據(jù)庫(kù)，如Dialog、SCI、EI、INSPE、IEEE、Science Direct、EBSCO、PQDD、SPRINGERLINK、KLUWER、Science online、Medline、CNKI、中文科技期刊全文數(shù)據(jù)庫(kù)、萬方數(shù)據(jù)科技信息子系統(tǒng)、萬方數(shù)據(jù)商業(yè)信息子系統(tǒng)、七國(guó)兩組織的專利數(shù)據(jù)庫(kù)、國(guó)內(nèi)外專利數(shù)據(jù)庫(kù)等異構(gòu)的分布資源，通過信息檢索，從某一學(xué)科專業(yè)著手，構(gòu)建某一學(xué)科專業(yè)領(lǐng)域的學(xué)術(shù)論文語(yǔ)料庫(kù)。
3.2 以信息論為工具，創(chuàng)建統(tǒng)計(jì)語(yǔ)言模型用于學(xué)術(shù)論文檢索
數(shù)學(xué)是解決信息檢索和自然語(yǔ)言處理的最好工具。其實(shí)早在幾十年前，數(shù)學(xué)家兼信息論專家香農(nóng)(Claude Shannon)就提出了用數(shù)學(xué)方法處理自然語(yǔ)言的想法。語(yǔ)音和語(yǔ)言處理大師賈里尼克(Fred Je-
linek)首先成功利用數(shù)學(xué)方法解決了自然語(yǔ)言處理問題。統(tǒng)計(jì)語(yǔ)言模型(即基于統(tǒng)計(jì)的語(yǔ)言模型)通常是概率模型，計(jì)算機(jī)借助于統(tǒng)計(jì)語(yǔ)言模型的概率參數(shù)，可以估計(jì)出自然語(yǔ)言中每個(gè)句子出現(xiàn)的可能性，而不是簡(jiǎn)單地判斷該句子是否符合文法。統(tǒng)計(jì)語(yǔ)言模型以概率頒布的形式描述了任意語(yǔ)句(字符串)s屬于某種語(yǔ)言集合的可能性，需要對(duì)任意的語(yǔ)句s都給出一個(gè)概率值，例如：P(他/認(rèn)真/學(xué)習(xí))=0.02。本文充分利用學(xué)術(shù)論文不同于報(bào)紙新聞?wù)撐幕蚱渌愋臀臋n的語(yǔ)言特點(diǎn)，以建立的學(xué)術(shù)論文語(yǔ)料為訓(xùn)練和測(cè)試基礎(chǔ)，提出新的基于學(xué)術(shù)論文的統(tǒng)計(jì)語(yǔ)言模型作為針對(duì)學(xué)術(shù)論文抄襲剽竊檢測(cè)算法的檢索語(yǔ)言模型。具體做法為：以信息論為工具，把握學(xué)術(shù)論文的語(yǔ)言特點(diǎn)，通過對(duì)以上所建立的學(xué)科專業(yè)語(yǔ)料庫(kù)進(jìn)行深層加工、統(tǒng)計(jì)和學(xué)習(xí)，獲取大規(guī)模真實(shí)學(xué)術(shù)論文語(yǔ)料中的語(yǔ)言知識(shí)，建立基于學(xué)術(shù)論文語(yǔ)料庫(kù)的統(tǒng)計(jì)語(yǔ)言模型;通過實(shí)驗(yàn)，與其他文本信息檢索模型進(jìn)行比較，論證其有效性。
3.3 利用學(xué)術(shù)論文中描述資源對(duì)象語(yǔ)義信息的元數(shù)據(jù)結(jié)構(gòu)，計(jì)算文檔相似度
充分利用正式出版的學(xué)術(shù)論文的結(jié)構(gòu)特點(diǎn)，根據(jù)學(xué)術(shù)論文中標(biāo)引出的K個(gè)描述資源對(duì)象語(yǔ)義信息的元數(shù)據(jù)(Di，i=1，2…k)，將學(xué)術(shù)論文結(jié)構(gòu)化;然后利用已有的基于學(xué)術(shù)論文語(yǔ)料庫(kù)的統(tǒng)計(jì)語(yǔ)言模型，將待比較的論文的各相同元數(shù)據(jù)Di(i=1，2…k)部分進(jìn)行比對(duì)得相似度si，再根據(jù)元數(shù)據(jù)對(duì)論文的重要程度給定第i個(gè)元數(shù)據(jù)項(xiàng)相似度權(quán)函數(shù)wi;則整篇學(xué)術(shù)論文總體的相似度為Sd=∑Wi*Si。
具體算法舉例如下：
將待檢測(cè)的學(xué)術(shù)論文的元數(shù)據(jù)如題名Til、關(guān)鍵詞Kyl、摘要Abl、正文.Tel、參考文獻(xiàn)Rel等元數(shù)據(jù)字段抽取出來，與語(yǔ)料庫(kù)中已有論文的相應(yīng)元數(shù)據(jù)字段內(nèi)容題名Ti2、關(guān)鍵詞Ky2、摘要Ab2、正文Tx2、參考文獻(xiàn)Re2進(jìn)行相似度計(jì)算。計(jì)算時(shí)，在篇名字段前給以0.25，0.4，0.15，0.1和0.1的加權(quán)系數(shù)。建立的統(tǒng)計(jì)語(yǔ)言模型計(jì)算待測(cè)論文和語(yǔ)料庫(kù)中已出版的論文j同一元數(shù)據(jù)字段的內(nèi)容相似程度，記為：Sim_Tij，sim―Kyj，Sim_Abj，Sire Tej，Sim_Rej，卷積后得整篇論文與語(yǔ)料庫(kù)中某篇論文j的相似程度值計(jì)算公式為：Sinai―larity_paper_j=0.25×Sim_Tij+0.4×Sim_Kyj+0.15×Sim_Abj+0.1×Sim_Txj+0.1×Sim_Rej;再計(jì)算與待檢測(cè)論文最相似的那個(gè)最大相似度Max_Similarity=Max{Simflarity_paper_j};如果Max_Similarity大于設(shè)定的閥值1(如40%)，則判斷為疑似抄襲，這樣的論文需要審稿專家仔細(xì)認(rèn)真審理，如果Max_Similarity大于設(shè)定的閥值2(比設(shè)定的閥值1大，如80%)，這樣的論文極有可能存在抄襲，需要審稿專家特別注意。在計(jì)算相似度值后，計(jì)算機(jī)系統(tǒng)記錄下相似度高于設(shè)定閥值的抄襲和被抄襲的學(xué)術(shù)論文來源、相似度值、及其各元數(shù)據(jù)項(xiàng)信息(包括作者信息)。以上各元數(shù)據(jù)項(xiàng)相似度計(jì)算過程中，加權(quán)系數(shù)可以根據(jù)需要做適當(dāng)調(diào)整為其他數(shù)值，但系數(shù)總和為1。
3.4 推廣使用
通過對(duì)某一學(xué)科專業(yè)的研究，進(jìn)一步拓展到其他學(xué)科領(lǐng)域，從而最終實(shí)現(xiàn)在異構(gòu)的分布式學(xué)術(shù)論文資源系統(tǒng)中，對(duì)各個(gè)學(xué)科領(lǐng)域的學(xué)術(shù)論文抄襲剽竊進(jìn)行跨平臺(tái)檢測(cè)。
4 研究展望及難點(diǎn)、解決辦法
今后的研究主要是將以上思想和方法步驟通過實(shí)驗(yàn)進(jìn)行論證。通過JAVA編程實(shí)現(xiàn)算法，同時(shí)能實(shí)現(xiàn)對(duì)于空間地址分布和數(shù)據(jù)異構(gòu)的學(xué)術(shù)資源進(jìn)行跨平臺(tái)的復(fù)制檢測(cè)。使用支持語(yǔ)言模型的Lemur工具箱，在標(biāo)準(zhǔn)的TREC文檔集上做測(cè)試試驗(yàn)，并對(duì)算法的召回率和精準(zhǔn)率作出量化;選擇與Turnitin偵探剽竊系統(tǒng)進(jìn)行實(shí)驗(yàn)對(duì)比，評(píng)價(jià)該基于學(xué)術(shù)論文語(yǔ)料庫(kù)的統(tǒng)計(jì)語(yǔ)言模型及算法。
研究的難點(diǎn)主要在于：①對(duì)學(xué)術(shù)論文語(yǔ)料庫(kù)進(jìn)行深層加工、統(tǒng)計(jì)和學(xué)習(xí)，獲取大規(guī)模學(xué)術(shù)論文語(yǔ)言知識(shí);②計(jì)算學(xué)術(shù)論文相似度時(shí)，不同元數(shù)據(jù)項(xiàng)其權(quán)函數(shù)的確定;③思想剽竊、風(fēng)格剽竊等深度剽竊特征的提取;④自然語(yǔ)言中的多詞一義易造成漏檢(漏判)等。為了解決以上問題，可以聯(lián)合數(shù)據(jù)庫(kù)商，構(gòu)建某一學(xué)科專業(yè)領(lǐng)域的語(yǔ)料庫(kù)，并從大量科技查新工作等實(shí)際檢索實(shí)踐中，統(tǒng)計(jì)出不同元數(shù)據(jù)項(xiàng)對(duì)相似度算法的貢獻(xiàn)率來進(jìn)一步確定不同元數(shù)據(jù)項(xiàng)權(quán)函數(shù)。語(yǔ)境框架是一個(gè)三維的語(yǔ)義描述，它把文本內(nèi)容抽象成領(lǐng)域(靜態(tài)范疇)、情景(動(dòng)態(tài)描述)、背景(褒貶、參照等)3個(gè)框架，應(yīng)在語(yǔ)境框架的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)對(duì)思想剽竊、風(fēng)格剽竊等深度剽竊特征的提取算法。通過構(gòu)建學(xué)科專業(yè)學(xué)術(shù)論文關(guān)鍵詞詞典和利用同義詞詞林，可以克服多詞一義時(shí)的漏檢，提高招回率。
相關(guān)文章：
1.學(xué)術(shù)論文批評(píng)性言語(yǔ)研究論文
2.視頻技術(shù)下的機(jī)場(chǎng)場(chǎng)面監(jiān)視系統(tǒng)簡(jiǎn)述論文
3.英語(yǔ)學(xué)術(shù)論文中的學(xué)術(shù)詞匯研究論文