離散や連続を仮定しないユニバーサル符号化と一般的なShannon-MacMillan-Breiman定理
スポンサーリンク
概要
- 論文の詳細を見る
ユニバーサル符号化に限らず、情報理論では、確率変数が離散や連続であることを仮定する場合が多い。本稿では、Boris Ryabkoの最近の結果を一般化することにより、真の情報源の測度μと符号化νの測度の間の1記号あたりのKullback-Leibler情報量D(μ||ν)のが漸近的に0に低減するようなνが存在するか否かについて、ある結論が得られたので報告する。情報源μがルベーグ測度λについて絶対連続でない(確率密度関数が存在しない)場合でも、別の測度ηについて絶対連続であれdμ/(dη)を確率密度関数と見て、微分エントロピーが定義できる。Andrew Barronが1985年に証明した微分エントロピーに収束するShannon-MacMillan-Breiman定理は、そのような一般的な場合にも適用できる。
- 2010-05-14
著者
関連論文
- 三浦理論に基づくKedlayaの位数計算法の一般化(ブロードバンドモバイル時代における基礎技術)(情報通信サブソサイエティ合同研究会)
- Kedlayaの位数計算法に関する一考察
- 非超特異楕円曲線に対するMOVアルゴリズムの実現 (2)
- 量子計算によるECDLPの効率的解法について
- 楕円曲線暗号におけるMOV帰着とFR帰着の比較について (代数曲線とその応用論文小特集)
- 非超特異楕円曲線に対するMOVアルゴリズムの実現(2)
- "Frey-Ruck Attackに関する一考察"
- ベイジアンネットワークにおける代数幾何(ベイジアンネットワークの最先端)
- 離散や連続を仮定しないユニバーサル符号化と一般的なShannon-MacMillan-Breiman定理
- Bayesianネットワークのt-分離性に関する一考察 (特集 「ベイジアン・ネットワークと応用」および一般)
- 遺伝的アルゴリズムの統計力学的方法(その1) (テーマ:特集「シンボルグラウンディング問題」および一般)
- GAのEstimation of Distribution Algorithmとのアナロジーに基づく欠損データを含む訓練例からのBayesian Networkの構造学習 (テーマ:特集「ベイジアンネットワーク」および一般)
- Belief UpdateのNP困難性とBelief RevisionのNP困難性 (特集「人工知能における論理の新たな展開」) -- (パネルディスカッション:人工知能における論理の新たな展開)
- ベイジアンネットワークの推論はなぜNP困難なのか (特集 オントロジー)
- margin assumptionの下での分類器の誤り率の評価について(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- margin assumptionの下での分類器の誤り率の評価について(テーマセッション,コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- ベイジアンネットワークの構造学習における強一致性について(セッション5)
- ナップサック問題と巡回セールスマン問題を含むOA機器保守スケジューリング問題へのGAの適用(ゲーム・探索(1))
- Theoretical Analyses on Genetic Algorithms
- Feng-Rao復号法に関する一考察
- Bayesian Belief Networkについての分岐限定法を用いた効率の良いMDL学習
- 遺伝的アルゴリズムで、突然変異確率を小さくして選択圧力を大きくすると、定常確率が最良個体ばかりの一様集団に集中する(セッション5)
- 離散や連続を仮定しないChow-Liuアルゴリズム : 例だけが与えられた場合
- ユニバーサルな予測とユニバーサルな符号化
- Bayesian Chow-Liuアルゴリズム : 最も一般的なケース(機械学習とその応用)
- 三浦理論に基づくKedlayaの位数計算の一般化 (符号と暗号の代数的数理)
- 三浦理論に基づくKedlayaの位数計算法の一般化(ブロードバンドモバイル時代における基礎技術)(情報通信サブソサイエティ合同研究会)
- 三浦理論に基づくKedlayaの位数計算法の一般化(ブロードバンドモバイル時代における基礎技術)(情報通信サブソサイエティ合同研究会)
- Kedlayaの位数計算法に関する一考察
- ユニバーサル予測とユニバーサル符号化(情報論的学習理論論文小特集)
- Bayesianネットワークの構造学習の計算量低減に関する一考察 : 事前知識の導入による効率化
- ZL77では圧縮できるがMPMでは圧縮できない系列はたくさんある
- CTWアルゴリズムの基本的性質について
- 分類規則を学習するときに確率1で真のモデルを選択する情報量基準のクラスについて
- 韓太舜・小林欣吾, 情報と符号化の数理, 岩波書店, 1994
- 分割表の独立性に基づく二値データ生成過程の推定法(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 離散データの因果の同定 : 2値から、多値への一般化について(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 離散と連続の変数が混在する場合のBayesianネットワークの構造学習(ベイズ統計モデル,統計推理,データベース,一般)
- 分割表の独立性に基づく二値データ生成過程の推定法
- ユニバーサルなベイズ測度(機械学習)