特異領域を利用した多層パーセプトロン探索法の探索枝刈り(バイオサイバネティックス,ニューロコンピューティング)
スポンサーリンク
概要
- 論文の詳細を見る
多層パーセプトロンの探索空間には,隠れユニットが一つ少ないモデルの最適解と等価な出力を出すパラメータ領域の中に,特異領域と呼ばれるフラットな領域が存在する.特異領域では探索が停滞してしまうため,この領域を回避する方法が提案されたが,回避できたとしてもその先で良解が得られる保証はない.特異領域を回避するのではなく,逆に積極的に利用し,与えられた隠れユニット数にふさわしい良質の解を安定して得る特異階段追跡法(SSF)1.2が提案された.しかし,SSF1.2では隠れユニット数が増えるとともに利用する特異領域の数が増え,多くの探索数を必要とするため,処理時間が増大する問題がある.本論文では,類似した経路を通る探索を判定して枝刈りする高速化処理をSSF1.2に導入した探索法SSF1.3を提案する.活性化関数をシグモイド関数と指数関数とする多層パーセプトロンにおいて,人工データと実データを用いて実験したところ,SSF1.3はSSF1.2の解品質を維持しつつ処理を数倍高速化できた.
- 2014-02-01
著者
関連論文
- 原始初期点を初期値とする変分ベイズ法に関する一考察
- 交差検証誤差最小化によるSV回帰ハイパーパラメータ最適化の高速化
- クラスタリングを用いた強化学習システムIPMBNの環境変化への適応について(ニューラルネットワーク画像復元及び一般)
- BN混合モデルを用いたオンライン型方策改善システムの動的環境への適応(ベイジアンネット2 : ポスターセッション)
- 正解ニッチェ表現をめぐるルール間生存競争
- 迷路問題におけるXCSの強化学習能力評価 (人工知能基礎論研究会(第53回)特集「シナリオ創発の科学へ向けて」および一般演題) -- (セッション(1)知識発見と学習)
- カーネルマシンにおける勾配方向への2次元パス追跡法
- 次数分布に基づく事前情報を用いた複雑ネットワークのクラスタリング
- 原始初期点とSubsamplingを用いたEM初期値生成法
- Loopy-BPにおける計算速度向上のためのネットワーク構造簡略化(ニューラルネットワーク画像復元及び一般)
- 多層パーセプトロンの特異領域を利用した探索法
- 多層パーセプトロンの特異領域を利用した探索法
- 多層パーセプトロンにおける固有ベクトル降下法と直線探索 (ニューロコンピューティング)
- 固有ベクトル降下法と可約性写像を用いた複素多層パーセプトロン探索法
- 多層パーセプトロンにおける固有ベクトル降下法と直線探索
- 複素BFGS法を用いた複素ニューラルネットワークの学習法(バイオサイバネティックス,ニューロコンピューティング,学生論文特集秀逸論文,学生論文)
- 多層パーセプトロンにおける固有ベクトル降下法と直線探索
- 特異領域を活用した多層パーセプトロン探索法
- 特異領域を活用した多層パーセプトロン探索法
- 特異領域を利用した多層パーセプトロン探索法の探索枝刈り(バイオサイバネティックス,ニューロコンピューティング)
- 特異階段追跡法を用いたサンプリング法による多層パーセプトロンモデル選択
- 特異階段追跡法を用いたサンプリング法による多層パーセプトロンモデル選択