紀要論文 『現代日本語書き言葉均衡コーパス』の文境界修正
Correction of Sentence Boundaries in the Balanced Corpus of Contemporary Written Japanese DVD Version 1.0

小西, 光  ,  中村, 壮範  ,  田中, 弥生  ,  間淵, 洋子  ,  浅原, 正幸  ,  立花, 幸子  ,  加藤, 祥  ,  今田, 水穂  ,  山口, 昌也  ,  前川, 喜久雄  ,  小木曽, 智信  ,  山崎, 誠  ,  丸山, 岳彦  ,  Hikari, KONISHI  ,  Takenori, NAKAMURA  ,  Yayoi, TANAKA  ,  Yoko, MABUCHI  ,  Masayuki, ASAHARA  ,  Sachiko, TACHIBANA  ,  Sachi, KATO  ,  Mizuho, IMADA  ,  Masaya, YAMAGUCHI  ,  Kikuo, MAEKAWA  ,  Toshinobu, OGISO  ,  Makoto, YAMAZAKI  ,  Takehiko, MARUYAMA

(9)  , pp.81 - 100 , 2015-07 , 国立国語研究所
ISSN:2186-134x print/2186-1358 online
NII書誌ID(NCID):AA12536262
内容記述
『現代日本語書き言葉均衡コーパス』第1.0版(Maekawa et al. 2014)(以下BCCWJ)には「文境界」の情報がアノテーションされているが,その認定基準の妥当性について従来から様々な指摘がある(小西ほか2014,長谷川2014,田野村2014)。この問題に対処するために,国立国語研究所コーパス開発センターでは2013年から2014年にかけて,BCCWJの修正を行った。本稿ではその修正作業について報告する。第1.0版におけるBCCWJ 文境界情報の問題は,コーパス構築の過程において文境界を含む文書構造タグの整備と形態素列レベルの情報の整備とを並行して行ったために,文字情報を用いる文境界処理にとどまったことに由来する。今回,形態論情報に基づいた文境界基準を策定し,問題の解消を試みた。文境界修正の指針を示すとともに,文境界修正に用いた作業環境と,修正件数について報告する。
In December 2011, the National Institute for Japanese Language and Linguistics (NINJAL) released a 100-million-word balanced corpus - the Balanced Corpus of Contemporary Written Japanese (BCCWJ) DVD Version 1.0 - which was compiled from 2006 through 2011. Some users have pointed out some issues concerning sentence delimitation in the BCCWJ. To address these issues, we - NINJAL - performed a complete survey and correction, beginning in 2013 and ending in 2014. This article reports the revision work on sentence delimitation in the BCCWJ. The problems with the BCCWJ DVD Version 1.0 derive from the string-based definition. We could not obtain any morpheme information for the sentence delimitation task because of the task parallelism between sentence delimitation annotation and morpheme annotation. The method used this time was morpheme based. We present the morpheme-based annotation guidelines, annotation environment, and basic statistics of the corpus correction.
本文を読む

https://repository.ninjal.ac.jp/?action=repository_action_common_download&item_id=471&item_no=1&attribute_id=22&file_no=1

このアイテムのアクセス数:  回

その他の情報