影。像。生。活

Concise是一套用來建構並分析語料庫的應用程式，目的在於提供簡易的程式界面，讓一般不會程式設計的人文社會學科使用者，也能對特殊的文本進行語料庫語言學上的分析。語料庫 （corpus） 是Concise運作的核心概念，這份文件將會介紹語料庫的基本概念，並且簡介Concise在建構語料庫的背後運作過程。

新的 Concise 0.3.6 即將釋出，現在先放個預覽的版本出來。新版本有幾項特點，將會在底下敘述。在觀看的同時，也別猶豫去下載新的版本回來玩玩。 A Preview version of Concise 0.3.6 is out.  There are several highlights described below.  Don't hesitate to give it a try. The Workspace 工作空間 「工作空間」（workspace）的概念從 Concise 0.3.0 開始推出，作為檔案管理的新模式。工作空間的推出讓檔案共享成為可能，因為所有需要的檔案都存在裡面（將來應該會把原始檔案一併納入）。除此之外，新的 Concise 也能讓您同時在多個工作空間中進行文字處理（見下圖）。 As introduced in Concise 0.3.0, "Workspace" creates a new way of (corpus) file management.  This make workspace-sharing possible.  Moreover, you may even work on multiple workspaces at the same time (see below).  

As suggested in my previous article Collocation and Interactive Collocational Network , collocational networks are networks consisting of words that co-occur in a statistically significant way in a text.  In Concise 0.2x, we introduced an interactive way to explore the co-occurencetial relationship.  Now, with Concise 0.3.x, a 'dead-end' collocational network is featured.

Lucene-based search library Concise Workspace Search Suggestion Collocation: Surface mode and Textual mode

Stefan Evert 在 Corpora and collocations 裡頭指出了三種詞語搭配（collocation）的計算方式，包括有表面式共現（surface cooccurrence）、文本式共現（textual cooccurrence）、以及句法式共現（syntax cooccurrence）這三種。現有的語料庫套裝軟體多具備第一種詞語搭配的計算，以一個節點詞，向前後延伸幾個單位的跨距，構成片段的文本。至於第二種和第三種共現詞的計算，則多半要使用相當客制化的程序來實現。說白了，要自己寫程式才能做到。

應用語料庫進行的研究中，提到搭配詞（collocate）與詞語搭配（collocation）的文章裡頭，十篇中有九篇引用John Sinclair那本 Corpus, Concordance, Collocation （上海外語出教育出版社出了中文封面的英文版，售價比Amazon便宜多了） 。可能說得誇張了點，但這也表示Sinclair在這個領域的重要地位。只可惜他已經在2007年因為癌症而去世了。英國《衛報》（The Guardian）刊載John Sinclair的訃文時，就以這樣的標題 Brilliant language scholar and deviser of the 'idiom principle' （傑出的語言學者和「慣用語原則」的創造人） 來描述他，也將那本 Corpus, Concordance, Collocation 奉為語料庫語言學者的聖經。詞語搭配（collocation）正是書中的重點，也是這篇Tutorial即將介紹的主題。

今天早上釋出了 Concise 0.2.1b，修正了一些小小的問題，同時也為 Concise 的查詢增加了一個實用小功能——萬用字（wildcard）。在這篇Tutorial裡頭，我們就運用Concordancer來進行查詢的介紹，同時為關鍵詞進行脈絡化的工作。

Concise 0.2.1a 最重要的新特色就是文字資料的視覺化。這篇Tutorial將重點擺在詞頻（Word Frequency）與詞頻的視覺應用，重點在兩個元件上，Word Lister和Word Clouder。前者用來產生詞頻表，後面的比較好玩，可以把文字變成一朵朵的雲。搭配StopWorder的使用，這兩項功能可以顯示出文本的特性。

Concise 是一套文字探索軟體，使用簡單的文字分析功能發掘文本間的關聯模式。 Concise 很容易上手，這邊不過是提供大家一點進入的要訣，以便快速地開始使用 Concise 。如果我有力氣的話，後續的Tutorial也會接著寫出來。 1.) 載入語料（資料） 在語言學、計算語言學、以及部份的數位人文學、部分的圖書資訊學當中，只要研究範疇涉及語言，通常都把資料稱作語料（corpus）。這些語料往往是一堆記錄的文字，像是演講稿、對話、訪談的逐字稿等等，或是本來就是文字記錄的資料，像是報紙、圖書等等，當然也可以是某些抽象物體的文字描述。在集結語料之後，也經常像資料庫那樣把這些語料的集合稱作語料庫，英文同樣是corpus，或是複數形式的corpora。也因為處理的都是文字，這種分析的方法也常被稱作文本分析（text analysis）。

After months of hard word, SUStudio.org now introduces whole new Concise (version 0.2.1a) to the World.  New Concise inherits simplicity and intuition of previous Concise interface design, and provides two widgets of visualized text exploration -- Word Clouder and Collocational Networker (alpha).  These two widgets make text exploration much easier and, more importantly, much fun. 在幾個月的辛勞之後， SUStudio.org 終於得以向全世界介紹新的Concise（版本0.2.1a）。新的Concise延續前一個版本簡單、直覺式的介面，並加上兩項視覺化的文本探索功能——文字雲和詞語搭配網絡（alpha），除了讓文本的探索更佳簡單之外，也更加地有趣。 Current Concise (0.2.1a) have revised the core of text processing.  We fixed the large file issue (> 1GB) which failed in previous Concise, and enhanced the overall performance.  Concise now supports Mac OS X (10.5 or later).  It also supports full screen feature introduced in Mac OS X Lion (10.7).  However, there is no plan to publish Concise to Windows or Linux right now. 此外，Concise 0.2.1a大幅修改文本處理的核心，修正前一個版本無法處理大檔案（> 1GB）的問題，並讓...

我一直覺得優秀的資料視覺化讓凸顯重點，同時也更加有趣。讀了Jonathan Feinberg被收錄在 Beautiful Visualization: Looking at Data Through the Eyes of Experts   (簡體中文版本《 數據可視化之美：通過專家的眼光洞察數據 》) 裡的Wordle以後，這樣的感覺更加強烈。

這些天一直在弄Concise中一項相當重要，卻又相當麻煩的功能——中文分詞。 在西方主導的語言學當中，單詞是語言的基本單位。英文、法文、德文等西方語言中的單詞多能以空格作為邊界來區分；但是熟悉中文的使用者都知道，在中文的書寫系統中，並不存在這種邊界。每個中文字、每個漢字都可能是一個單詞，甚至同樣的排列，依據不同的語氣來閱讀，會有不同的意思。從前在國中時，最常被拿來開玩笑的就是徐志摩的那句「數大便是美」，究竟是「數 | 大 | 便是 | 美」？或是「數 | 大便 | 是 | 美」？兩者的意思差了十萬八千里。

What's NEW: Improved Graphic User Interface : Much like Mac OS X.  Much easier! Better Performance : Faster in displaying text data. Large Amount Excel Output : up to 1,000,000 records supported.  (Note: Concordance Plotter supports 5,000 plots at maximum.  Too many plots will crash Excel.)