Departmental Bulletin Paper 〈プロジェクト紹介〉 超大規模コーパス構築プロジェクト 日本語Webコーパスの構築 : 利活用
Building NINJAL Web Japanese Corpus : Use and Application

浅原, 正幸  ,  Masayuki, ASAHARA

6 ( 1 )  , pp.1 - 10 , 2015-06 , 国立国語研究所
ISSN:2185-0100 print/2185-0119 online
NCID:AA12480598
Description
国立国語研究所コーパス開発センターでは2011年より超大規模コーパス構築プロジェクトとして,Webを母集団とした100億語規模のコーパスの構築を進めている。構築にあたっては,工程を収集・組織化・利活用・保存の4つに分割して実装を進めている。2012年第4四半期より3か月ごとに1億URLのクロールを繰り返し実施している。本稿では構築されたコーパスデータの基礎統計量を示し,本コーパスを用いて,どのような理論的・応用的研究が可能になると考えられるかを論じる。
In 2011, the National Institute for Japanese Language and Linguistics launched a corpus compilation project with the aim of constructing a ten-billion-word Web corpus. The project was split into the following four sub-projects: page collection, linguistic annotation, release, and preservation. In the page collection stage, crawling began during the fourth quarter of 2012. We crawled 100 million URLs every three months as fixed-point observations. This paper presents the basic statistics of the crawled data and discusses possible theoretical and practical implications of these language resources.
Full-Text

https://repository.ninjal.ac.jp/?action=repository_action_common_download&item_id=805&item_no=1&attribute_id=22&file_no=1

Number of accesses :  

Other information