Webを母集団とした超大規模コーパスの開発 : 収集と組織化
スポンサーリンク
概要
- 論文の詳細を見る
国立国語研究所コーパス開発センターでは2011年より超大規模コーパスプロジェクトとして,Webを母集団とした100億語規模のコーパスの構築を進めている。構築にあたっては,工程を収集・組織化・利活用・保存の四つに分割して実装を進めている。本論文ではそのうち最初の2工程について報告する。収集に関しては,2012年第4四半期より3か月ごとに1億URLのクロールを繰り返し実施している。また組織化に関しては,2013年第3四半期までの約1年間に収集されたWebページの文抽出・形態素解析・係り受け解析を実施した。これらの作業に生じた問題とその解決法を示した後,2013年末において構築されたコーパスデータの基礎統計量を示し,本コーパスを用いてどのような理論的・応用的研究が可能になると考えられるかを論じる。
著者
-
前川 喜久雄
国立国語研究所
-
浅原 正幸
国立国語研究所 コーパス開発センター
-
今田 水穂
国立国語研究所 コーパス開発センター プロジェクト研究員
-
小西 光
国立国語研究所 コーパス開発センター 非常勤研究員
関連論文
- コーパス構築と著作権保護(研究開発における情報利用と著作権)
- KOTONOHA『現代日本語書き言葉均衡コーパス』の開発(資料研究の現在)
- 自発音声とデータベース(音声学・音韻論の過去・現在・未来)
- 英語コミュニケーション能力の自動測定技術の提案
- パラ言語情報に関わる喉頭音源の音響的特徴
- 自発音声コーパスにおけるF0下降開始点位置の分析
- 長/短母音の時間制御特性-自発音声コーパスの分析-(1)
- パラ言語情報による発声様式の変化 : 高速ビデオ画像の解析
- 調音音声学から音声の物理学へ : 千葉勉・梶山正登の貢献(母音研究 : Chiba&Kajiyamaから最新研究まで)
- 発話速度の違いが印象評定に及ぼす影響
- 日本語自発音声の韻律ラベリング体系 : X-JToBI
- 自発音声に対する音素自動ラベリング精度の検証
- X-JToBI : 自発音声の韻律ラベリングスキーム
- 韓国人日本語学習者によるアクセント知覚と音節構造に関する考察
- 発話の丁寧さの知覚におよぼす語彙的要因と韻律的要因の関係とその社会差
- 科学技術振興調整費開放的融合研究推進制度 : (小特集:) : 大規模コーパスに基づく『話し言葉工学』の構築
- 共通日本語話し言葉コーパスの設計
- 『日本語話し言葉コーパス』の設計の概要と書き起こし基準について
- 『日本語話し言葉コーパス』の設計の概要と書き起こし基準について
- 「日本語話し言葉コーパス」の書き起こし基準について
- 「日本語話し言葉コーパス」の書き起こし基準について
- 音声対話コーパスの共有化へ向けて
- 調音運動から見たパラ言語情報の生成
- 自発音声コーパスにおける印象評定とその要因
- 「日本語話し言葉コーパス」の書き起こし基準について
- 自発音声に対する J_ToBI ラベリングの問題点検討
- 大規模話し言葉コーパスにおける発話スタイルの諸相-書き起こしテキストの分析から-
- X-JToBI : 自発音声の韻律ラベリングスキーム
- X-JToBI : 自発音声の韻律ラベリングスキーム
- 言語情報の知覚における韻律と分節音の手がかり - 両耳分離聴による左右耳差の検討 -
- パラ言語情報の生成と知覚 : 多次元尺度法による布置と音響特徴の関係
- パラ言語情報の知覚一同定データの多次元尺度法による分析
- 『日本語話し言葉コーパス』を用いた自発音声の分析
- 企画委員長挨拶(新会長および新委員長の就任挨拶)
- PNLPの音声的形状と言語的機能
- 日本語有声破裂音における閉鎖調音の弱化
- C5.日本語ザ行音の調音様式の変異について(研究発表,音声学会2009年度(第23回)全国大会発表要旨)
- 自発音声における大局的な発話速度の知覚に影響を与える要因
- B10. アクセント句を単位としてみた自発音声の韻律特徴 : 韻律境界強度の予備的分析(研究発表,日本音声学会2007年度(第21回)全国大会発表要旨)
- 講演音声の大局的な印象に影響を与える要因
- 庶務委員長挨拶(新会長および新委員長の就任挨拶)
- 日本語話し言葉コーパスの設計(音声研究関連データベースの動向)
- 日本語学習者の長/短母音の同定におけるピッチ型と音節位置の効果
- 会議報告 : ICPhS99(第14回国際音声科学会議)
- 千葉・梶山の『母音論』について(『母音論』出版60年)
- 日本語話し言葉コーパスの音声ラベリング(音声学と音声工学)
- 脳研究への期待(ワークショップ:「音声にとっての脳,脳にとっての音声」,第306回研究例会発表要旨)
- 『日本語話し言葉コーパス』を用いた言語変異研究(音声のバリエーション)
- 日本語長音の短母音化現象 : 語中位置および発話のスタイルとの関係
- 日本語長音の短母音化現象 : 語中位置および発話のスタイルとの関係
- 日本語長音の短母音化現象 : 語中位置および発話のスタイルとの関係
- まえがき(『母音論』出版60年)
- 「コーパスアノテーションの基礎研究」および「コーパス日本語学の創成」
- 言語資源研究系の共同研究プロジェクト
- /z/の調音様式の変異 : コーパスによる分析
- C2-2. 自発音声中のフィラーの特性に関する予備的分析 : 位置と高さの分析(研究発表,日本音声学会2012年度(第26回)全国大会発表要旨)
- 聴取実験に基づく講演音声の印象評定データの構築とその分析
- 前川喜久雄 編/監修 辻井潤一・投野由紀夫・徳永健伸・丸山岳彦・山崎誠・小木曽智信・中村壮範・山口昌也 著『コーパス入門』
- Webを母集団とした超大規模コーパスの開発 : 収集と組織化
- 小西光,浅原正幸,前川喜久雄「『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション」言語処理学会誌『自然言語処理』20(2): 201-222. (2013)
- P5. 日本語自発音声におけるfinal loweringの生起領域(口頭発表,日本音声学会2013年度(第27回)全国大会発表要旨)