ベイズ決定理論に基づく階層$N$グラムを用いた最適予測法
スポンサーリンク
概要
- 論文の詳細を見る
ユーザ入力をもとにシステムが予測し候補を提示する文書作成支援技術が普及している.この応用を想定したNグラムモデルを用いた単語の予測法を検討する.Nグラムモデルは学習データをもとに構築されるが,単語列を構成する単語の組合せが膨大なため次数が増加するにつれ疎となる.モデル構築においては,高次のモデルの推定に対し,低次のモデルの推定結果をもとにいかに補間するかが課題である.従来は混合分布の仮定や,ごく少数にしか出現しない単語列を考慮した割引係数をもとに,各次数のモデルを重みづけ足し合わせることが行われていたが,予測に対する理論的な保証はない.本稿では,これに対し真の次数が未知の統計問題ととらえ,ベイズ決定理論に基づいて,単語の予測誤りの損失に対しベイズ基準のもとで最小となることが保証された予測法を導出する.さらに,日本語文書データでの単語予測の実験を行い,提案法が実用的にも有効であることを示す.
- 2013-03-12
著者
-
松嶋 敏泰
横浜商科大学
-
松嶋 敏泰
早稲田大学
-
末永 高志
(株)nttデータ技術開発本部
-
Matsushima Toshiyasu
Waseda Univ. Tokyo Jpn
-
Matsushima Toshiyasu
Department Of Industrial And Management Systems Engineering School Of Science And Engineering Waseda
-
松嶋 敏泰
早稲田大学大学院理工学研究科
-
末永 高志
株式会社NTTデータ
-
末永 高志
株式会社NTTデータ技術開発本部|早稲田大学基幹理工学部応用数理学科
-
松嶋 敏泰
早稲田大学・応用数理学科
関連論文
- 変動要因を考慮した非定常ポアソンモデルに関する一考察(トラヒック解析・制御(2),インターネットトラヒック,TCP/IP,性能解析・評価,ネットワークモデル及び一般)
- 複数の鍵配送センターを用いたランプ型鍵事前配布方式(情報セキュリティ基礎)
- KL情報量を制約としたResolvability問題における達成可能条件の評価(研究速報)
- マルコフ決定過程の動作時間と受信バッファ容量が有限の選択再送ARQへの適用(研究速報)
- 補助情報を伴う情報源符号化定理に関する一考察(一般/LDPC符号セッション,LDPC符号,一般)
- 複数のLDPC符号の交錯による有限状態マルコフ通信路に適した誤り訂正符号について(LDPC符号セッション(符号構成),LDPC符号,及び一般)
- 拡張された有本-Blahutアルゴリズムの大域的収束性について(情報理論)
- 確率伝搬法を用いたCDMAマルチユーザ検出アルゴリズムに関する一考察
- ユニバーサル情報源・通信路結合符号化に関する一考察
- 外れ値データの発生を含む回帰モデルに対するベイズ予測アルゴリズム
- Reliability-Based Hybrid ARQ Scheme with Encoded Parity Bit Retransmissions and Message Passing Decoding(Information Theory and Its Applications)
- 複合情報源におけるε達成可能なオーバーフローしきい値に関する考察
- デジタル指紋技術のための結託耐性を持つ符号の連接符号化法
- ストリーム暗号における擬似乱数生成器の構成に関する一考察(研究速報)
- 無ひずみ情報源符号化におけるオーバフロー確率について(情報理論)
- ユニバーサル通信路符号化法における通信路容量について(ブロードバンドモバイル時代における基礎技術)(情報通信サブソサイエティ合同研究会)
- 決定木モデルにおける予測アルゴリズムについて
- 畳み込み符号の並列復号アルゴリズムの性能評価に関する一考察(一般,フレッシュマン,招待講演)
- メモリ量を低減した近似ベイズ符号化アルゴリズム(情報理論)
- (2,2;2)-MACの通信路容量を求める手法に関する一考察
- ウェーブレットパケット基底を用いた信号推定におけるベイズ決定理論の適用に関する一考察
- 低密度パリティチェック符号の復号アルゴリズムに関する一考察
- パラメータが時間変化する情報源とその符号化に関する一考察
- ウェーブレット・パケットを用いた雑音除去におけるベイズ法の応用に関する一考察
- BW変換を用いたユニバーサル符号化アルゴリズムに関する研究
- HMM通信路に対するEM復号の復号誤り確率の評価法
- バースト消失訂正に適したLDPC符号の修正方法について(情報通信基礎サブソサイエティ合同研究会)
- 有限幾何に基づく Fingerprinting のための結託耐性符号
- A Note on Transmission Schemes with Unequal Error Protection Codes and a Feedback Channel
- A Note on Error Correction Schemes with a Feedback Channel(Coding Theory,Information Theory and Its Applications)
- The Reliability based Hybrid ARQ Scheme with both the Encoded Parity Bit Retransmissions and Message Passing Decoding(HISC2006)
- Transformation of a Parity-Check Matrix for a Message-Passing Algorithm over the BEC(Discrete Mathematics and Its Applications)
- A Note on HTTP Traffic Analysis of the Time Series Model with a Time Varying Density Parameter
- A Study of Reliability Based Hybrid ARQ Scheme with Bitwise Posterior Probability Evaluation from Message Passing Algorithm
- 未知パラメータを伴う隠れマルコフモデルの状態推定に関する一考察
- 統計的決定理論に基づく複数のクラスに属する文書の分類方法に関する一考察(情報通信基礎サブソサイエティ合同研究会)
- ストリーム暗号への攻撃法の改良に関する一考察 : 多次元の相関を利用した攻撃(情報セキュリティ基礎)
- 直交計画と双対符号の関係に関する一考察(情報通信基礎サブソサイエティ合同研究会)
- 直交計画と双対符号の関係に関する一考察(情報通信基礎サブソサイエティ合同研究会)
- 直交計画と双対符号の関係に関する一考察(情報通信基礎サブソサイエティ合同研究会)
- 質問学習と逐次実験計画の関係に関する一考察
- 質問学習に直交計画を用いた場合の予測アルゴリズムに関する一考察 (特集「人工知能における論理の新たな展開」)
- 直交計画を用いたブール関数の学習に関する一考察
- ブール関数の逐次実験計画を用いた学習に関する一考察
- ベイス決定理論による定式化のもとで直交計画を用いたブール関数の学習に関する一考察
- 相互通信可能な情報源符号化に関する一研究
- ID情報に基づくランプ型分散鍵配送方式について
- ポアソン分布に従う非定常な時系列のモデル化に関する一考察(一般,フレッシュマン,招待講演)
- 多端子情報理論に基づく分散協調問題について
- 多端子モデルに基づく分散協調問題の定式化について
- 不確実性をもつ仮説に関する帰納推論
- パネル討論「21世紀のAIのための数理モデル」 : 議論集(「21世紀のAIのための数理モデル」)
- 外れ値データの発生を含む回帰モデルに対するベイズ予測アルゴリズム
- 外れ値データの発生を含む回帰モデルに対するベイズ予測アルゴリズム
- バースト消失訂正に適したLDPC符号の修正方法について(情報通信基礎サブソサイエティ合同研究会)
- バースト消失訂正に適したLDPC符号の修正方法について(情報通信基礎サブソサイエティ合同研究会)
- 2元線形符号を用いた多重アクセス通信路に対する線形計画復号について(LDPC符号,一般)
- サービスの開始と終了を考慮したWebトラヒックの非定常Poisson過程によるモデル化について(トラヒック解析・制御)
- 多端子情報理論に基づくセンサネットワークのモデル化と信頼度評価
- バースト消失訂正とLDPC符号に関する一考察
- 多端子情報理論に基づくセンサネットワークのモデル化と信頼度評価
- 秘密情報を持つ Broadcast Channel の Secrecy Capacity 計算アルゴリズム
- 電子透かしにおける秘匿容量計算アルゴリズム(情報通信基礎サブソサイエティ合同研究会)
- 電子透かしにおける秘匿容量計算アルゴリズム(情報通信基礎サブソサイエティ合同研究会)
- 電子透かしにおける秘匿容量計算アルゴリズム(情報通信基礎サブソサイエティ合同研究会)
- 階層モデルにおけるベイズ予測の漸近評価に関する一考察
- 区間で一定なパラメータを持つ非定常情報源におけるベイズ符号の冗長度について
- 使用ユーザが変化するDS/CDMAシステムにおけるベイズ最適なマルチユーザ検出について
- 電子透かしにおける秘匿容量の計算手法に関する研究(フレッシュマン, 一般)
- 区間で定常なパラメータを持つ非定常情報源におけるベイズ符号の冗長度について(一般セッション)(フレッシュマン,一般)
- ベイズ決定理論に基づく予測における近似手法について
- 区間で一定なパラメータを持つ情報源におけるベイズ符号化法について
- 相関のある時系列の状態空間によるモデル化と予測(一般,フレッシュマン,招待講演)
- A Note on the ε-Overflow Probability of Lossless Codes(Information Theory)
- A Note on the overflow probability of lossless codes
- A Note on Learning Boolean Functions by Using Orthogonal Design
- 記憶のある通信路に適した誤り訂正符号の構成法に関する研究
- 統計的決定理論に基づく有限受信バッファSR ARQ方式
- 帰還通信路を用いた誤り制御方式に関しての研究
- 再帰的組織畳み込み符号を利用したReliability Based Hybrid ARQについての研究
- FSMX情報源に対するベイズ符号のメモリ量削減アルゴリズム(フレッシュマン, 一般)
- Small-Loop を含む低密度パリティ検査(LDPC)符号の復号に関する研究
- 低密度パリティチェック符号の復号アルゴリズムに関する一考察
- 低密度パリティチェック符号の復号アルゴリズムに関する一考察
- 低密度パリティチェック符号の復号アルゴリズムに関する一考察
- ベイズ符号化アルゴリズムを用いたテキストデータ圧縮
- 記号の出現パターンを考慮した情報源に対するベイズ符号に関する研究(フレッシュマンセッション,フレッシュマンセッション,一般)
- 単一ループをもつグラフィカルモデルにおける確率伝播型アルゴリズムに関する一考察
- L-016 インターネットトラヒックのポアソン分布の密度パラメータが時間変動する時系列モデルを用いた解析に関する一考察(L分野:ネットワークコンピューティング)
- On the Condition of ε-Transmissible Joint Source-Channel Coding for General Sources and General Channels
- A Note on a Sampling Theorem for Functions over GF(q)^n Domain
- 語頭条件を満たさないWord-valued sourceに対するLZ78符号の符号化性能について
- 判定基準LR+Thを用いたブロック符号の帰還誤り指数の改善(情報理論)
- On Factorial Effects Corresponding to Orthogonal Arrays with Unequal Strength(HISC2006)
- A Note on Construction of Orthogonal Arrays with Unequal Strength from Error-Correcting Codes(Discrete Mathematics and Its Applications)
- 統計的決定理論に基づく複数のクラスに属する文書の分類方法に関する一考察(情報通信基礎サブソサイエティ合同研究会)
- 統計的決定理論に基づく複数のクラスに属する文書の分類方法に関する一考察(情報通信基礎サブソサイエティ合同研究会)
- ブロックターボ符号のインタリーバ構成法と最小距離(符号理論)
- Viterbi アルゴリズムを用いた可変サイズのリスト復号における誤り指数
- ビタビアルゴリズムを用いた可変サイズのリスト復号における誤り指数について(情報理論)