専用ハードウェアを用いた形態素解析器の開発
スポンサーリンク
概要
- 論文の詳細を見る
本論文では,形態素抽出から接続検定までを専用ハードウェアで実行する形態素解析器の構成・アルゴリズム・評価結果について述べる.本形態素解析器では,形態素解析処理を,(1)形態素抽出:単語辞書を検索してテキスト中に出現したと思われる単語(形態素)を抽出する過程,(2)接続検定:単語の隣接制約にもとづいて接続可能な単語を連結する過程,(3)候補選択:単語の組合せのなかから一番尤もらしいものを選択する過程,の3つに分け,(1)と(2)について専用ハードウェア(形態素抽出マシンMEX-IIと接続検定マシンMONC)を開発した.逐次型コンピュータを想定した従来の形態素解析アルゴリズムでは,ヒューリスティックスによる候補制御(解析候補の切り捨て)を用いて高速化するため,処理速度と解析精度との間にトレードオフの関係が生じている.しかし,MEX-IIとMONCによると,候補抑制なしに形態素抽出から接続検定までを,8万語辞書の場合?約9.5千文字/秒,24万語辞書の場合:約5.6千文字/秒,49万語辞書の場合:約2.4千文字/秒の処理速度で実行できる.この処理速度は,パーソナルコンピュータ(CPU:80386,クロック:20MHz)と比べて80倍以上高速である.これによって,解析候補の切り捨てを行うことなく,総当たり解析の精度を保ったまま高速化することが可能となった.
- 一般社団法人情報処理学会の論文
- 1995-03-15
著者
関連論文
- Web文書集合からの意見情報抽出と着眼点に基づく要約生成(Webマイニング)(テーマ:「Webマイニングによる情報活動と自然言語処理」その他一般)
- Web文書集合からの意見情報抽出と着眼点に基づく要約生成(Webマイニング)(テーマ:「Webマイニングによる情報活用と自然言語処理」その他一般)
- 3a-SD-6 "CAMAC AUTO-SCANNER"の設計・製作
- Webページの重要度ファクタに関する一考察
- 意見抽出を目的とした機械学習による属性-評価値対同定(属性抽出)
- 仮説生成と検証の効率的組合せに基づく手書き文字列読み取り向け知識処理方式
- 転置ファイルとビット配列を用いた高速文字列あいまい照合アルゴリズム
- 認識知識処理 (認識と制御技術 特集)
- ボトムアップ/トップダウン処理を融合した手書き文字列読み取り知識処理
- 手書き文字列読み取りのための単語列探索アルゴリズム : 文字タグ法
- 手書き文字列読み取りのための単語連鎖制約に基づく効率的探索と棄却
- 効率的探索とトップダウン的検証を組み合わせた手書き住所読み取り知識処理
- 文字タグ法による手書き住所読み取りの評価
- A-4 テキストからの類義語抽出手法とその評価(概念と言語(I))
- 手書き文字列読み取りのための単語列探索アルゴリズム : 文字タグ法
- 手書き住所読取りのための町名検索アルゴリズム : 文字タグ法
- 手書き住所読取りにおけるパタン処理と連携した住所知識処理方式
- 共起類似性に基づく同義語の抽出
- D-2 Support Vector Machineを用いた地域情報ページの自動分類(Webコンテンツ処理,D.データベース)
- モバイルサーチエンジンWithAirの試作と評価
- モバイルサーチエンジンWithAirの試作と評価
- 情報検索システム評価用ベンチマークVer.1.0(BMIR-J1)について (メディア統合および環境統合のための高機能データベースシステム、および一般)
- 日本語情報検索システムのためのベンチマークの構築
- 意見抽出のための評価表現の収集
- インターネットからの評判情報検索(WWW上の情報の知的アクセスのためのテキスト処理)
- テキストマイニングによる評価現象の収集
- D-1 意見分析システムにおける意見抽出方式の検討と評価(Webコンテンツ処理,D.データベース)
- インターネットからの評判情報検索
- インターネットからの評判情報検索
- 冗長分散格納によるPCクラスタ上の動的負荷均衡化
- 文章解析アクセラレータ(2) : 接続検定マシンMONCの試作と評価
- 形態素抽出マシンMEX-IIの試作と評価
- 形態素抽出マシンMEX-IIの概要
- ア***ロセッサによる文脈自由言語の並列認識アルゴリズム
- 文章解析アクセラレータ(1) : 形態素抽出マシンの試作
- 多重照合型形態素抽出方式に関する検討
- 文字列検索LSIを用いた国語辞書システムの構築法
- 文構造を有する日本語テキストエディタJESS
- 日本語文章作成支援システムCOMET
- 辞書およびパターンマッチルールの増強と品質強化に基づく日本語固有表現抽出
- 1N-3 日本語テキストからの固有表現抽出システムの開発と評価
- 1U-3 テキスト中の数値表現を用いた情報検索方式の評価
- 予測ペン入力インタフェースとその手書き操作削減効果
- 大語彙かな漢字変換 : 未登録語と区切り誤りの減少
- 招待講演:新世代検索ポータル技術 (2001年情報学シンポジウム講演論文集--21世紀の情報化社会・ネットビジネスを支える情報学/情報技術) -- (セッション5:情報技術の視点から)
- WWWサーチエンジン (特集 情報検索)
- Webサーチエンジンの基本技術と最新動向（上）基本技術
- Webサーチエンジンの基本技術と最新動向（下）最新技術
- WWW情報検索技術と評価の問題(情報検索システムの力くらべ : テストコレクションによる評価)
- 農業情報の検索・ナビゲーション (特集 情報化がもたらす新しい農業・農村)
- インタ-ネットドキュメント検索 (インタ-ネット特集) -- (期待されるインタ-ネット先進技術)
- 検索技術 (マルチメディア特集) -- (マルチメディア要素技術)
- テキストデ-タベ-ス検索 (日本語処理技術特集) -- (テキストデ-タベ-ス技術)
- 校正支援システムSt.WORDS (日本語処理技術特集) -- (ドキュメント処理技術)
- 専用ハードウェアを用いた形態素解析器の開発
- 形態素抽出ハードウェアアルゴリズムとその実現
- 検索エンジンの仕組みと技術の発展(インターネット検索エンジン)
- モバイルユーザ向け情報選別配信技術
- 目的および個人に特化したサーチエンジンの開発 (「Webシステムにおける情報獲得支援技術」)
- 4P-9 組合せ情報フィルタ方式の信頼度を用いた精度改良
- 4T-02 文書タイプ分類による問題解決のためのWWW検索システム
- 4T-2 文書タイプ分類による問題解決のためのWWW検索システム
- 文書タイプ分類による問題解決向きWWW検索システムの開発と評価
- インターネット多角的検索システムOTROS : 構造的特徴量によるタイプ分類と検索
- 日本語全文検索における文字組ベースのランキングの評価
- 大語彙辞書を用いたかな漢字変換についての考察