2014年5月29日 星期四

Concise Basic: 建構自己的語料庫 Compile Your Own Corpus


Concise是一套用來建構並分析語料庫的應用程式,目的在於提供簡易的程式界面,讓一般不會程式設計的人文社會學科使用者,也能對特殊的文本進行語料庫語言學上的分析。語料庫(corpus)是Concise運作的核心概念,這份文件將會介紹語料庫的基本概念,並且簡介Concise在建構語料庫的背後運作過程。



什麼是語料庫?


語料庫(corpus,複數為corpora)與文件集(document set)在Concise裡頭是同樣的概念,指的是用來解決您資訊需求的素材,或是您感興趣的目標文本。必須先有素材存在,才有可能進行接下來的分析。


所有素材、文本的集合就是語料庫。您可以將語料庫想像為一本雜誌,這本雜誌是由許多個別的文章組成的。這時,個別的文章就是語料庫中的文件(document),而這本文件集合的雜誌就是個語料庫。如果將單位改變,把一本雜誌所有的內容作為一個文件,那麼雜誌的集合就成了一個更大的語料庫。


Corpus Manager 用是相同的概念,每一列都是一份文件。這些文件集合成了Concise的語料庫。您可以將Corpus Manager視為雜誌的目錄,雙擊其中的文件,或是按右鍵選擇「開啓 Open」,就能打開Document Viewer檢視文件的內容。


Concise 是如何建構語料庫的?


用Concise來建構語料庫並不複雜,只要點選「匯入 Import」,選取要匯入的檔案,稍微調整一下自訂詞庫,接下來都交給Concise去處理。


然而,在這個簡單的步驟後頭,語料庫的建構涉及幾個概念:分詞(tokenisation)、標註(tagging)與索引(indexing)

中文分詞


分詞(tokenisation)指的是將文件中原始的詞彙轉為控制的詞彙。簡單的說,就是處理怎麼樣才算是一個詞彙(word)的問題。對英文,或是用空白字元作為間隔的語系來說,這個問題會稍微簡單一些,但是仍得要處理多樣詞形是否要還原為基本詞形的問題。舉例來說,過去式、進行式與未來式是否要還原為簡單現在式,是否要保留所有格等問題。

中文對時態與所有格並沒有那麼敏感,但是詞彙的邊界卻是個大問題。中文字指的是「字元」(char)的概念,但語料庫中重視的卻是詞彙(token或word)。詞彙可能僅有一個中文字,或是由兩個以上的中文字構成。要怎麼樣將一連串的中文句子斷成一個個有意義的詞彙,一直是讓許多中文的使用者或開發者頭痛的部分。

目前找得到,並且原本就以繁體中文為基礎建構的分詞系統,大概就是中央研究院中的中文斷詞系統。可惜的是這個系統並不是開源的,當然背後的詞庫與分詞的依據,全都只能仰賴該小組發表的論文。對一般的分詞需求可能足夠了,但是特殊主題(如農業、旅遊、美食等)的應用,特別是專有名詞的處理上就顯得有些不足。

目前比較常見的Java開源分詞軟體大概有下列幾個:ik-analyzerICTCLASmmseg4j庖丁解牛fudannlpsmallseglingpipeStandford Word Segmenter。以上所有的分詞軟體用的都是用簡體中文的詞庫,或用簡體中文詞庫訓練出來的模型。儘管這些模型可以用在繁體,但是效果並不怎麼好。

然而其中的mmseg4j,應用了蔡志浩的MMSEG演算法,只要將裡頭的詞庫與中文字的機率檔案代換,即可應用於繁體中文。同時,也方便特殊主題的使用者新增自訂詞庫。這個便利的特性符合Concise的需求,因而在修改了mmseg4j原始碼讓它也能拋出標點符號後,成為Concise的中文分詞核心。


標註(tagging)


不同的研究目的會需要不同的標註方式,最常見的標註是詞性(part-of-speech)。根據不同的目的,有時還會對類碼(lemma,或稱還原詞形)、分類、命名實體(named entity)進行標註。有的研究將標註視為分詞的一部份。

Concise 從 0.3.6 之後,在匯入文件時增加詞性標註的功能。詞性最重要的功能,依舊是區別詞彙的不同意義。在中文裡頭,同樣的詞彙在不同的句子或是文脈中,經常有不同的作用。有時候可以當作名詞,有時候又作為副詞或是形容詞。詞性的標註有助於消彌這些詞彙在文脈中的歧義性。


然而就如同中文分詞的系統,詞性標註的開源程式依舊缺乏繁體中文的模型。好在繁體中文與簡體中文極為相似,句法在某種程度上是可以共通的。因而可以運用簡體中文訓練出的詞性標註模型,直接對分過詞的繁體中文進行詞性標註。

Concise選擇的是 Stanford NLP 中的 Part-Of-Speech Tagger,用的模型是賓州大學的中文句結構樹(CTB, Chinese Tree Bank)所訓練出來的。詞性的說明可以在這裡下載。


索引(indexing)


索引可以讓應用程式快速找到搜尋的目標,但索引的方式直接影響搜尋的結果。很多搜尋系統在建構索引的時候會略過標點符號與停用詞(stop words),認為這些資訊對搜尋結果是冗贅的。但是Concise對空白字元(空格、tab、斷行符號)外的所有詞彙(包括標點符號)進行索引,讓使用者在後續的操作中,根據其目的自行選擇要顯示的詞彙與停用詞。

Concise在0.3.0之後採用Apache Lucene Core作為索引與搜尋的核心,這個核心在許多專案中都能見到。語料庫匯入Concise之後,相關的索引也會一併完成。藉著索引中儲存的資訊,讓Concise能較為快速地找尋並顯示結果。



一旦建構了語料庫,就可以依據不同的搜尋、呈現、與過濾方式,提取文本中的訊息。從最基本的脈絡化關鍵詞(Keyword in context)、詞彙的計數,到具備簡單統計功能的詞語共現(collocation)和語料庫語言學的關鍵詞(Keyword),甚至是視覺化的文本探索,Concise試圖用簡便的方式讓使用者/研究者能夠從不同的角度看待他們的文本。




沒有留言 :

張貼留言

Related Posts Plugin for WordPress, Blogger...