PPM法を利用した日本語テキスト圧縮
スポンサーリンク
概要
- 論文の詳細を見る
1バイト文字から成るテキスト圧縮の研究に比べて、日本語の特徴をいかした日本語テキストの圧縮アルゴリズムはあまりない。わずかに、圧縮前の前処理の方法などが提案されている程度である。日本語は英語などと異なる体系を持っているため、より効率的に圧縮できる可能性がある。本研究では、このような特徴に着目した新たな方法を提案する。この方法は従来からある圧縮アルゴリズムPPM(Prediction by Partial Match)をベースにしている。PPMは過去の文章から次に来る文字を予測することで、圧縮率を高めるアルゴリズムであるが、ここで紹介するのはそれを日本語主体のテキストに特化させたものである。
- 社団法人電子情報通信学会の論文
- 2001-07-06
著者
-
今井 浩
東京大学大学院情報理工学系研究科コンピュータ科学専攻
-
今井 浩
東京大学工学部計数工学科
-
西田 祐輔
東京大学大学院情報理工学系研究科コンピュータ科学専攻
-
今井 浩
東京大学大学院情報理工学系研究科
-
今井 浩
東京大学大学院 情報理工学系研究科
関連論文
- 2地点車両観測情報からの全域的交通流解析アルゴリズム
- 車両配送問題のタブー探索による解法の実験的解析
- MK-6 東京大学理学部生物情報科学学部教育特別プログラム(大型プロジェクト紹介,学術系企画)
- 連載：理学のキーワード : 第29回
- SIMD型計算機向けループ自動並列化手法
- 動的推定によるプリフェッチ量最適化
- Webブラウザを用いた長距離データ転送の高速化
- コヒーレントでないメモリシステムへのアーキテクチャ支援
- メニーコアプロセッサ向き共有キャッシュ配分方式
- マップ型履歴を用いたプリフェッチ方式とキャッシュ置換方式の協調動作
- データに誤りのある場合のDNAチップを使った配列決定アルゴリズム
- PCR実験におけるプライマー数の最小化の計算量的性質と解法
- ICIAM'95に参加して
- オフライン環境における多様性の高い実行時自己改変ソフトウェア(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- 日米間QoSによるLFN高速化実験と分散KVSの構築(研究発表,ネットワーク研究開発テストベッド運用・利用,一般)
- 量子純粋状態のボロノイ図について
- BDDを用いたグラフのTutte多項式計算の再考察
- 7.論文誌周辺の研究倫理(研究者・技術者の倫理観・人生観)
- 量子和回路の効率化とシミュレーションによるデコヒーレンス耐性の解析
- 因数分解量子アルゴリズムの全量子シミュレーション
- 量子情報技術の現状と展望--EQIS'02の話題から (特集 量子情報技術--最前線からの展望)
- 有向グラフの推移閉包問題に対するFully Dynamicアルゴリズムの再定式化と実装
- 並列量子計算シミュレータについて
- 量子エントロピーの離散構造
- PPM法を利用した日本語テキスト圧縮
- 閾値関数のBDDの並列実装
- periodic graphのstatic graphに関する一考察
- JST-7 ERATO今井量子計算機構プロジェクト(大型プロジェクト紹介,学術系企画)
- Optimality and Integer Programming Formulations of Triangulations in General Dimension
- パケット喪失履歴に基づいたTCP幅輳制御方式(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- 複数生物学的配列のアラインメントのパラメトリック的考察
- 計算幾何を用いた1量子ビットの量子通信におけるHolevo容量計算のアルゴリズム
- 計算幾何を用いた1量子ビットの量子通信におけるHolevo容量計算のアルゴリズム
- "Peter Shor : Polynomial-Time Algorithms for Prime Factorization and Discrete Logarithms on a Quantum Computer", SIAM Journal on Computing,Vol.26,No.5, pp.1484-1509, 1997 (20世紀の名著名論)
- 座談会 いまモデル化が求められる理由 (特集 モデル化 変化する現実認識)
- 量子計算は暗号技術を破壊するか? (特集 コンピュータセキュリティ)
- 5.量子計算と最適化(量子情報処理パラダイム)
- 量子情報処理パラダイム : 1.量子計算の基礎
- ネットワーク算法による組合せ最適化問題の効率的解法
- Analyzing automorphism groups of oriented matroids by semidefinite programming (Computational Geometry and Discrete Mathematics)
- Computational Analysis of Orientations of Matroids (Computational Geometry and Discrete Mathematics)
- 計算代数的手法を用いた最小費用流の解析 (グレブナ-基底の理論的有効性と実践的有効性)
- 最小費用流問題の双対問題におけるトーリックイデアルの解析
- RL-001 FPGAを用いた広帯域高遅延ネットワーク向けの利用可能帯域推定(L分野:ネットワーク・セキュリティ,査読付き論文)
- 2.量子情報学 : 物理学と情報学の融合と展開(時代をひらく電子情報通信技術-技術がもたらした変革,そして更なる飛躍-)
- 情報処理学会は学会活動でITを活用しているか? : 学術情報発信の観点から(これからの情報処理学会 第3回)
- コンテンツからのデータマイニング(ユビキタスメカトロニクス-常時センシングと個別適合技術が拓くメカトロニクスの未来像-)
- NUMBERS OF PRIMAL AND DUAL BASES OF NETWORK FLOW AND UNIMODULAR INTEGER PROGRAMS
- 量子計算研究の必然と展開 (特集 量子アルゴリズムの新地平--数論・暗号・量子計算の進化)
- 特集発行にあたって(グローバル化時代の教育と研究)
- ネットワークシステムの信頼性の定量的評価法 : 枝故障に対する連結性保持の信頼度計算法(ネットワークシステムのセキュリティ評価と危機管理)
- 小特集発行にあたって(量子情報科学 : 新しい情報処理のパラダイム)
- df-pnアルゴリズムの詰将棋を解くプログラムへの応用
- Toric idealのstandard pair分解と最小費用流問題
- 多次元特徴空間での近接履歴グラフを用いた最近傍点探索の実際
- 多次元空間での最近傍点探索アルゴリズムの実験的解析と拡張
- トーナメントグラフのトーリックイデアルのGrobner基底
- 単一始点最短路問題(SSSP)線形時間アルゴリズムの実際的評価
- 2方向量子1カウンタオートマトン
- 1方向確率的可逆および1方向量子1カウンタオートマトン
- Groverの量子探索アルゴリズムの応用
- 絡み目のJones多項式計算の実際
- TD-1-3 量子計算シミュレーション
- Shorのアルゴリズム専用シミュレーションシステム
- 詰将棋を解くプログラムにおける効率的なハッシュの利用法について
- 安全性の証明可能なステガノグラフィに関する研究
- CTW圧縮における重み付け変数の最適化
- PPM圧縮におけるエスケープ確率と算術符号の改良
- Dynamic Programming Algorithm for Optimal Double-Base Chains : Extended Abstract (Mathematical Foundations and Applications of Computer Science and Algorithms)
- 高性能な8倍精度浮動小数点演算機構の実現
- 多種言語処理系性能の評価に適したベンチマークプログラム
- 不要キャッシュブロックのパーティショニングによる排除方式
- HPC Ruby:静的解析に基づくRubyの高度最適化コンパイラ
- BTBへのBimode Cascading手法適用による分岐先アドレス予測の高効率化
- 多様な履歴の利用による分岐予測精度の向上
- Tutte多項式とネットワーク信頼性の計算
- 2010年度論文賞の受賞論文紹介 : 低次キャッシュとプリフェッチ
- 実用的なRuby用AOTコンパイラ
- 編集室
- 編集室
- 2分決定グラフ、ガウスの消去法、グラフ理論
- ERATO今井量子計算機構の目指すもの (特集 量子コンピュータと量子情報技術の未来--研究の最前線から)
- 役に立つ離散数学 (離散数学のすすめ--現代数学の新天地)
- 計算幾何学 (アルゴリズムの発見)
- Jones多項式の計算
- 有向ネットワーク信頼性のBDDによる計算
- df-pnアルゴリズムの詰将棋解答プログラムへの応用
- ICTのICTによる情報発信 : 編集の立場から
- 1600万計算コア超メニーコアアーキテクチャのシミュレーション
- 三値マトロイドの生成とWhiteの予想に関する実験 (Theoretical Foundations of Computing)
- データマイニングでのクラスタリング
- 三値マトロイドの生成とWhiteの予想に関する実験
- 重み付きDelaunay三角形分割と離散的Ricciフローについて : 重み付きDelaunay三角形分割とサークルパッキングメトリックの関係
- 非対称数字表現に対する平均ハミング重みの最適化
- 三値マトロイドの生成と White の予想に関する実験