Dictionary Learningにおけるサンプル複雑度の典型時解析(第15回情報論的学習理論ワークショップ)
スポンサーリンク
概要
- 論文の詳細を見る
対象とするデータがスパースに表現されるための基底(dictionary)を見つけることは,さまざまな研究分野において興味をもたれている問題である.我々はいくつかのサンプルデータからdictionaryを学習する,dictionary learning(DL)という問題を考える.dictionaryを一意に同定するために必要なサンプル数はsample complexityと呼ばれ,これを評価することはDLに関する重要な問題のひとつである.本研究では統計力学的な解析を通して,sample complexityの典型時評価を行う.その結果,dictionaryの列ベクトルと行ベクトルの比が十分大きい場合には,sample complexityはデータ次元のオーダーで十分であるということがわかった.本研究により,これまでのsample complexityの見積もりが大きく改善された.これはDLの実際の応用においても大きな意味を持つものである.
- 一般社団法人電子情報通信学会の論文
- 2012-10-31
著者
関連論文
- How to correct errors in biological information processing : A suggestion from state of the art error correcting codes(シグナル伝達と符号暗号) (Applied discrete dynamics in molecular cell biology)
- 20aEA-5 誤り訂正符号を用いた電子透かし(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20aEA-10 疎なランダム行列の第1固有値に関するcavity解析(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20aEA-13 二極分布ランダムネットワークの頑強性の統計力学的評価(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 20aEA-12 スピンモデルを用いた文章中の語彙ネットワークの統計力学的解析(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 27aQF-3 磁場あり疎結合スピングラス模型に関する帯磁率行列の固有値分布について(スピングラス,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 20aVC-4 モンテカルロ法による磁場あり疎結合スピングラスモデルのAT解析(20aVC スピングラス,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 圧縮センシングへの統計力学的アプローチ
- CCCPに基づくCDMAマルチユーザ検出アルゴリズム(バイオサイバネティックス,ニューロコンピューティング)
- CCCPに基づくCDMA検出アルゴリズム
- 25aQL-4 単純パーセプトロンの有限レプリカ解析とComplexity(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- M. Mezard and A. Montanari, Information, Physics, and Computation, Oxford Univ. Press, New York, 2009, xiii+569p, 25×18cm, $99.00, (Oxford Graduate Texts), [専門・大学院向], ISBN978-0-19-857083-7
- 27aQF-5 ランダムエネルギーモデルのレプリカ数に対する解析性 : リーヤンゼロの視点から(スピングラス,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 離散ランダムエネルギー模型のレプリカ数に対する解析性(熱場の量子論とその応用,研究会報告)
- 圧縮センシングへの統計力学的アプローチ
- 統計力学的手法に基づくひずみありデータ圧縮の誤り指数評価(統計的学習理論及び一般)
- 低密度パリティ検査符号を用いたブロード・キャスト通信の統計力学
- 25pQK-13 Compressed sensingの統計力学的解析(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 2元行列アンサンブルの見逃し誤り確率の平均誤り指数(LDPC符号,一般)
- 歪み有りデータ圧縮の統計力学
- 25pTD-12 1RSB仮定における適応TAP方程式(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pTD-7 1RSBを考慮したTAP方程式を用いた感受率伝搬法(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- パーセプトロン型確率モデルにおけるベイズ学習のための平均場アルゴリズム
- 確率伝播法による変数刈り込みを行うクラス識別機
- 25pQK-12 正解が埋め込まれたグラフ等分割問題の統計力学的解析(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 25pTD-13 2元行列アンサンブルの見逃し誤り確率の平均誤り指数(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 収束を保証した自由エネルギーの極小解探索法(「機械学習によるバイオデータマインニング」及び「一般」)
- 20aEA-8 自由エネルギー降下に基づいた1RSB平均場近似解の探索(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pQK-11 ランダムネットワーク上における情報伝達の可否についての統計力学的評価(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 25aQL-5 レプリカ拡張系適応的TAP方程式を用いた学習アルゴリズム(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 語彙ネットワークからの単語の感情極性抽出 : 統計力学的視点からの精度改善法(IBIS2010(情報論的学習理論ワークショップ))
- 相関信号下での圧縮センシングの性能解析(IBIS2010(情報論的学習理論ワークショップ))
- Wake-Sleepアルゴリズムの動的解析(情報論的学習理論論文小特集)
- 因子分析の統計力学 : Wake-Sleep Algorithmのダイナミクスの解析
- 大規模統計モデルにもとづく情報処理 : モノの理とコトの技の接点
- スピングラス理論と機械学習
- 低密度パリティ検査符号の統計力学的解析
- 通信路符号化におけるGallager上界とレプリカ法(シャノンの論文から60年)
- スパースネットワークを用いた誤り訂正符号化法
- 単一サンプル系に関するレプリカ法とレプリカ対称性の破れについて(情報物理学の数学的構造)
- グラフィカルモデルと平均場近似
- 情報統計力学とは何か : 情報学でもMore Is Different(ベイジアンネットワークと確率的情報処理の新展開)
- 1. 序文 : 確率・統計モデルが切り開く推論と学習の新しいパラダイム(確率を手なずける秘伝の計算技法-古くて新しい確率・統計モデルのパラダイム-)
- 論文特集「情報論的学習理論(IBIS 2000)」について
- 22pVC-8 直交例題におけるパーセプトロンの汎化能力評価(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21aTL-5 入力パターンに統計的に相関がある場合の学習性能評価(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 26pTD-6 スピンモデルを用いた評価表現辞書構築における精度改善法(26pTD ネットワーク一般2・生物・生態系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25aTE-2 スピングラス模型における平均場方程式の解空間(25aTE スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 28aTD-6 疎行列に基づく圧縮センシング : キャビティ法による信号復元アルゴリズム(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- コトの物理学
- 居酒屋にて
- 統計力学的アプローチのココロ
- 疎に結合した写像系の解析
- 21pGU-5 OFDMモデルにおけるキャリア間干渉除去のための平均場近似アルゴリズム(21pGU 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 22aGA-8 到来方向推定法への統計力学的アプローチ(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21pGU-4 高精度な評価表現辞書構築への統計力学的アプローチ(21pGU 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21pGU-3 L1ノルム最小化による疎なノイズの除去(21pGU 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- TAP平切場近似による誤り訂正符号の復号化(多体問題としての情報処理-統計力学と情報科学の接点-,研究会報告)
- 圧縮センシングにおけるレプリカ対称性の破れ(ポスターセッション,第14回情報論的学習理論ワークショップ)
- シャノンの定理を物理のモデルを通して眺める(モデリング-さまざまな分野,さまざまな視点から-)
- 12項 More is differentの話(4節 通研講演会,第5章 国際会議・シンポジウム等)
- 統計的学習モデルへの統計力学的アプローチ(統計モデルと学習の数理)
- 特集「統計モデルと学習の数理」にあたって
- 統計力学的手法による誤り訂正符号の性能評価
- コトの物理学 : 誤り訂正符号を例として
- グラフィカルモデルと変分原理
- スピングラス理論に基づく情報通信研究の新展開 : 誤り訂正符号を中心に(情報統計力学,第46回物性若手夏の学校(2001年度)(その1),講義ノート)
- 統計力学と情報処理
- 双方向性連想記憶モデルの記憶容量について
- 学習の統計力学
- 誤り訂正符号の統計力学
- 情報理論と平均場近似
- ランダムネットワークを用いた誤り訂正符号化法(基研研究会「ニューラルネットワーク〜これからの統計力学的アプローチ〜」,研究会報告)
- 27aAG-11 Dictionazy Learningの統計力学(27aAG 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 圧縮センシングにおけるレプリカ対称性の破れ
- 18aAA-3 Dictionary Learningにおけるノイズ効果(18aAA 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 18aAA-1 圧縮センシングにおける想定する非零要素分布が真の分布と異なる場合の統計力学的解析(18aAA 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 事後確率最大化推定に基づく圧縮センシングのデータ復元アルゴリズム(第15回情報論的学習理論ワークショップ)
- Cavity法による次数相関のある相互依存型ネットワークの解析(第15回情報論的学習理論ワークショップ)
- Dictionary Learningにおけるサンプル複雑度の典型時解析(第15回情報論的学習理論ワークショップ)