DFAによる形態素解析の高速化
スポンサーリンク
概要
- 論文の詳細を見る
入力文を単語に分割し品詞を付加する形態素解析は、日本語処理における基本的な処理である。日本語には単語間に明確な区切り記号がないので、この処理は入力文の全ての部分文字列に対する辞書検索を含む。本論文では、辞書を決定性オートマトンに変換し、辞書検索を高速に実現する方法を提案する。この方法は、AC法(失敗関数を持つトライ)に基づく方法と比較して、計算時間が少ないという利点と、大きい記憶域を必要とするという欠点がある。これらの方法を実装し実験を行なった結果、決定性オートマトンによる方法はAC法に基づく方法に対して、必要な記憶域は16.1倍であり、辞書検索の速度は11.7倍であった。
- 一般社団法人情報処理学会の論文
- 1996-07-18
著者
関連論文
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 日本語の情報量の上限の推定
- 形態素クラスタリングによる形態素解析精度の向上
- タグ付きコーパスからの統語規則の獲得
- nグラム統計によるコーパスからの未知語抽出
- nグラム統計によるコーパスからの未知語抽出
- クラスに基づく言語モデルのための単語クラスタリング
- 大規模日本語テキストのnグラム統計の作り方と語句の自動抽出
- 語彙化マルコフモデルによる英語品詞タグ付け
- 形態素bi-gramと品詞bi-gramの重ね合わせによる形態素解析
- 統計によるタグ付きコーパスからの統語規則の獲得
- 係り受けを用いた確率的言語モデル
- クラスbigram言語モデルの補間
- DFAによる形態素解析の高速化
- DFAによる形態素解析の高速化