文字n-gramデータからのk-NN法に基づく統計的形態素推定
スポンサーリンク
概要
- 論文の詳細を見る
日本語コーパスの整備に伴い, 統計的情報を基にした形態素解析の研究が日本語に対しても多く行なわれている。しかし, 分かち書きされないという日本語の性質のため, 辞書引きによる形態素分割が前処理に入り, 速度的に接続ルールとコストに基づく形態素解析手法を置き換えるには至っていない。一方の接続ルールとコストに基づく形態素解析手法も, コストの調整や複数の接続ルール間での適用の順番などとの兼ね合いもあり, 保守の点のオーバーヘッドも無視できなくなってきている。これに対して, 本稿では文字単位のn-gramデータをコーパスから抽出し, そのデータからk-NN法を用いて形態素分割および品詞属性の付加を行なう統計的形態素解析手法を提案する。評価の結果, 不要なデータの刈り込み等を行なわない時点でも93%近くの精度と, 従来の形態素解析プログラムの1.5倍, 約20000文字/秒という処理速度が実現された。
- 一般社団法人情報処理学会の論文
- 1997-09-24
著者
関連論文
- Botnetの命令サーバドメインネームを用いたBot感染検出方法(セッション1)
- データ取得性制御可能なP2Pネットワークアーキテクチャの提案(情報通信基礎サブソサイエティ合同研究会)
- セキュアなアプリケーション開発のための要求・デザインパターンの提案(セッション5-B:セキュアプロトコルとセキュアソフトウェア開発)
- 2N-7 教養番組のテキスト教材における手順の構造化
- 医療分野におけるRFIDタグシステムの情報セキュリティの確保(セッション1-B:セキュリティ応用技術)
- (2)パネル討論 : アーキテクチャ研究の将来(150回研究会記念特別企画)
- 150回研究会記念特別企画(2)パネル討論 : アーキテクチャ研究の将来
- 2レベル・ストライド値予測機構の可能性検討(並列処理)
- 3H-4 ストアキューの拡張によるロードトラフィックの削減方式
- 3H-2 複数パス実行時におけるキャッシュトラフィックの傾向分析
- V_LD_Pアーキテクチャにおけるデータアクセスの軽減手法
- 2H-6 ショート・リブド・データの動的な予測に関する検討
- ALU-NET : VLDPアーキテクチャにおける命令実行機構
- VLDPアーキテクチャにおける実行パス制御方式の検討
- 命令ストリーミング : 複数パスの投機処理に適した命令列構成方式
- VLDPアーキテクチャの性能に関する初期的考察
- 命令ウィンドウの動的最適化
- V_LD_Pアーキテクチャにおける実行パス制御機構
- 例外回復可能な複数パス実行機構の提案
- 大規模データパスプロセッサにおける命令供給システム
- 大規模な投機的処理における分岐制御機構
- 実行パス予測における確率伝播手法の検討
- 5-2-1 東京大学「情報科学技術戦略コア」(5-2 情報・電気・電子分野の21世紀COE,3プロジェクトの拠点リーダーより)(5.大学での研究プロジェクト : 21世紀COEプログラム)(グローバル化時代の教育と研究)
- 科学者倫理の確立に向けて声明表出に際しての会長談話, 声明「科学者の行動規範について」
- 周波数成分の重なり適応処理を用いた複数楽器の音源同定処理
- 特徴量に注目した複数楽器の演奏における音源同定処理
- ICOTone : 音楽情報認識ユニットninoru
- L-022 仮想マシンモニタにおけるデバイスドライバ安全性向上に関する提案(L分野:ネットワーク・セキュリティ)
- 分散システムにおけるCapabilityを用いた資源アクセス制御
- アプリケーション・プラットフォームとしてのセキュアOSに関する初期的検討
- M_053 分散環境におけるセキュアな資源管理方式に関する研究(M分野:アーキテクチャ・ユビキタス・セキュリティ)
- 手書きスケッチによる3次元モデリングシステム Teddy--フリーハンドで自由曲線を描くだけで手軽に3次元モデルを作成できる
- 医療分野におけるRFIDタグシステムの情報セキュリティの確保(セッション1-B:セキュリティ応用技術)
- シンクライアントアーキテクチャをベースにしたセキュアクライアントの検討
- シンクライアントアーキテクチャをベースにしたセキュアクライアントの検討
- 談話解析に基づく場面の同定とその評価
- ニューラルネットワークと記号処理の統合による連想補完文字認識
- 論理プログラミングを基礎とした認可ポリシ記述言語
- 料理映像の構造解析による調理手順との対応付け(マルチメディアパターン処理)
- 動きに基づく料理映像の自動要約(画像の認識と理解)
- 料理映像の特徴を利用した要約手法の検討
- 分散共有メモリ型超並列計算機におけるディレクトリ方式と相互結合網について
- 機密情報共有に有用な情報フロー制御モデルの提案
- 幾何学的制約を考慮した図形編集手法
- 5D-4 図形間の類似性を利用した描画予測
- コンプリーションによるオンライン手書き文字入力支援
- クラスタ型プロセッサのための分散投機メモリフォワーディング(プロセッサアーキテクチャ)
- 発行時間差に基づいた命令ステアリング方式(プロセッサアーキテクチャ)
- クリティカルパス情報を用いた分散命令発行型マイクロプロセッサ向けステアリング方式(アーキテクチャ)
- VLDP3アーキテクチャにおけるメモリリネーミング手法の検討
- VLDP3アーキテクチャにおけるレジスタ値の高速Forwarding手法の提案
- VLDP3アーキテクチャに対するコード生成の検討
- VLDP3 : データフローを高速実行する大規模アーキテクチャ
- VLDP3アーキテクチャに対するコード生成の検討
- C-17 VLDP3アーキテクチャの構想(4) : メモリ依存に関する初期検討(計算機アーキテクチャと最適化,C.アーキテクチャ・ハードウェア)
- C-16 VLDP3アーキテクチャの構想(3) : レジスタフォワーディング機構の初期検討(計算機アーキテクチャと最適化,C.アーキテクチャ・ハードウェア)
- C-15 VLDP3アーキテクチャの構想(2) : ソフトウェア支援(計算機アーキテクチャと最適化,C.アーキテクチャ・ハードウェア)
- C-14 VLDP3アーキテクチャの構想(1) : プロセッサ構成(計算機アーキテクチャと最適化,C.アーキテクチャ・ハードウェア)
- 関数間最適化による冗長メモリアクセスの削減
- 2000-HPC-82-19 コンパイラによるロード・ストア負荷の軽減
- 実行サイクル数予測に基づく大域的命令スケジューリングの実装と評価
- 2D-3 予測実行サイクル数に基づいた大域的命令スケジューリング
- テレビニュース字幕の語義属性解析のための辞書作成
- 色頻度・局所エッジ成分を総合的に用いた物体検出手法とサッカー映像における選手検出への応用
- 料理テキスト教材における調理手順の構造化
- ニュース映像における人物の分離による背景の場面推定 (画像の認識・理解論文特集)
- 料理映像における繰り返し動作のスポッティング手法
- 料理映像における繰り返し動作のスポッテイング手法
- ショット分類に基づく映像への自動的索引付け手法 (知能情報メディア論文特集)
- 5M-8 ニュース映像における人物領域と背景領域の個別特徴量解析による人物と場面の追跡・索引付け手法
- 4U-7 料理番組における映像とテキスト情報の対応づけ
- 言語情報を伴う画像の画像的特徴量と語義の統計的対応付け
- 字幕の語義に基づくニュース映像分類
- 可読性向上を図る対話的文書自動彩色システム
- 可読性向上を図る文書自動彩色システム
- 自動文書彩色システムによる可読性向上の評価
- 効率的なセキュリティ要求分析手法の提案
- デジタル教材の著作権料分配方法の提案-新電子教科書プロジェクト-
- マルウェア亜種の動的挙動を利用した自動分類手法の提案と実装
- メンバの入れ替えが生じる環境下でのマルチキャスト通信の暗号化鍵管理方法の評価・検討(情報通信基礎サブソサイエティ合同研究会)
- メンバの入れ替えが生じる環境下でのマルチキャスト通信の暗号化鍵管理方法の評価・検討(情報通信基礎サブソサイエティ合同研究会)
- メンバの入れ替えが生じる環境下でのマルチキャスト通信の暗号化鍵管理方法の評価・検討(情報通信基礎サブソサイエティ合同研究会)
- セキュアなアプリケーション開発のための要求・デザインパターンの提案(セッション5-B:セキュアプロトコルとセキュアソフトウェア開発)
- サイバーワールド論文特集の発行にあたって
- ハミング距離によるマルウェア亜種の自動分類
- 自己組織化マップを用いたWindowsシステムサービスコールの分類によるマルウェア検出手法
- デバイスドライバのセキュリティ強化
- O-010 情報システムへのオープンソースソフトウェア導入に関するガイドライン策定(O分野:情報システム)
- L-034 自己組織化マップを用いた異常検知についての一検討(L分野:ネットワーク・セキュリティ)
- L-033 C&Cセッション分類によるボットネットの検出手法の一検討(L分野:ネットワーク・セキュリティ)
- 大規模データパスプロセッサにおける命令供給システム
- 大規模データパスプロセッサにおける命令供給システム
- マルチレベル分岐予測の検討と評価
- 分岐アドレス予測機構の比較検討
- 音楽の要素構成構造に着目した曲断片のモーフィング
- 音楽の要素構成構造に着目した曲断片のモーフィング
- 3H-3 VLDPにおけるデータ書き戻し削減手法 : Last Use検出によりデータ書き戻しを制御する方式
- 4N-3 並列論理型言語Flengにおけるプリミティブなオーバーヘッド解析
- 多空間ディレクトリ(MSD)の自動的な共有
- 分散システムにおけるCapabilityを用いた資源アクセス制御