形態素抽出ハードウェアアルゴリズムとその実現

概要

論文の詳細を見る
本稿では,形態素抽出の新しいハ-ドウェアアルゴリズムを提案する.形態素抽出処理は,単語辞書を検索することによって,入力されたテキストに出現したと思われる単語(形態素)をすべて抽出する処理である.自然言語解析に不可欠であり,かつ,時間のかかる処理であることから,高速化が強く望まれていた.提案するハードウェアアルゴリズムは,基本的な1回の照合サイクルをできる限り短縮する方針で設計し,(1)シフトレジスタによるテキストの順送り,(2)先頭文字による辞書範囲の絞り込み制御,(3)単語を構成する全文字の同時照合など,ワイヤードロジックとして容易に実現できる手法を組み合わせたものである.本アルゴリズムを実行する専用ハードウェア(形態素抽出マシンMEX-I)を試作し,8万語の単語辞書を用いた形態素抽出処理を,テキスト1万文字当たり約1秒で実行できるアルゴリズムの高速性を確認した.この処理速度は,パーソナルコンピュータ(CPU:80386,クロック:16MHz)上のソフトウェアと比較して,100倍〜1000倍高速である.さらに,テキストの各文字がM個の候補をもつ場合の処理時間が,従来のソフトウェアアルゴリズムではMの累乗オーダになるのに対して,本アルゴリズムはMの線形オーダに抑えられる優位性をもつ.
一般社団法人情報処理学会の論文
1991-10-15

形態素抽出ハードウェアアルゴリズムとその実現

スポンサーリンク

概要

著者

関連論文

スポンサーリンク