エントロピー項の導入によるバックプロパゲーション学習則の拡張と学習効率の向上
スポンサーリンク
概要
- 論文の詳細を見る
多層型ニューラルネットにおいて広く利用されているバックプロパゲーション学習則の改良を提案する. 学習の目的関数に, 教師信号との出力誤差の最小化だけでなく, エントロピーとよぶ量の最大化を加える. エントロピー項を導入すると各ニューロンは0や1に極端に近い出力値は取りにくくなり, 学習途上で入力荷重の絶対値が過度に増大することが自然に防がれる. この性質は学習のローカルミニマムからの脱出に重要である. エントロピー項の導入は, 学習空間全体の起伏を減らし, より簡単な学習問題へ変形する操作と考えられるが, 一方では学習を通じて得られる結合荷重が当初の目的からずれる欠点がある. そこで, 学習の序盤にはエントロピー項の寄与を大きくし, 中盤以降から徐々にエントロピー項の寄与を減じながら学習を進める技法を導入する. 学習のローカルミニマが知られる単純な例題を用いて, 本提案が収束効率を改善することを実験的に示す. また, 誤差の基準としてKullback情報量を使う場合にも, エントロピー項の導入を組み合わせると, 学習効率が大幅に改善される.
- 一般社団法人情報処理学会の論文
- 1999-02-18
著者
関連論文
- 並列化Barnes-Hut Tree Codeを用いた高精度なタンパク質分子動力学法プログラムの開発(並列処理)
- アミノ酸配列のマルチプルアライメントにおける反復改善過程の並列化とA^*アルゴリズムの適用
- 分子動力学法プログラムAMBERとBarnes-Hut tree codeの並列化による高速化 (並列処理)
- 並列タンパク質情報解析(PAPIA)システムのPCクラスタ上での実現
- 多次元分布の線形基底変換による圧縮表現の提案, 及びタンパク質残基間相対位置分布への応用
- 多次元分布の線形基底変換による圧縮表現の提案、及びタンパク質残基間相対位置分布への応用
- 大規模分子動力学シミュレーションによる自由エネルギー地形解析システムの開発(セッション3:『バイオモデリング,シミュレーション』)
- Ab initioペア近似法による並列分子軌道計算プログラムABINIT-MPの作成と性能評価
- 分子動力学法に基づくタンパク質構造サンプリングとドッキング予測の改良
- 中赤外自由電子レーザーを用いたペプチド・糖鎖フラグメント解析
- 階層的な大規模並列木探索によるタンパク質立体配座解析システムESCAPE/Hi
- 並列木探索によるタンパク質立体配座解析の階層的アプローチによる拡張
- タンパク質分子構造を例とする高性能計算結果の可視化システムの試作
- 大規模PCクラスタを用いたインターネット上の公開計算サービス : 並列タンパク質情報解析(PAPIA)システムの構築と利用実績
- 大規模PCクラスタを用いたインターネット上の公開計算サービス : 並列タンパク質情報解析(PAPIA)システムの構築と利用実績
- タンパク質立体構造の配列および原子間距離による分類と非冗長化されたPDB代表タンパク質チェインデータベース(PDB-REPRDB)の作成
- 木探索アプローチによるタンパク質立体配座解析と大規模並列計算機上での高速解析システムの構築
- 多次元分布の線形変換による圧縮表現のタンパク質立体構造認識問題への応用
- タンパク質立体構造の配列および原子間距離による分類を非冗長化されたPDB代表タンパク質チェインデータベース(PDB-REPRDB)の作成
- 木探索アプローチによるタンパク質立体配座解析と大規模並列計算機上での高速解析システムの構築
- 並列木探索を用いたタンパク質立体配座解析システムの構築
- フラグメントMO法によるノイラミニダーゼ阻害薬の結合性解析
- 2 バイオインフォマティクス研究者スキル(バイオインフォマティクス)
- インタビュー 独立行政法人 産業技術総合研究所 生命情報科学研究センター 先進的かつ独創的な研究プロジェクトを、22.8Tflop/sのスーパーコンピューターが支援
- 細胞アレイのための大規模画像処理システムの開発
- 大規模並列計算機によるタンパク質情報解析 (「分子生物情報学の新展開」)
- エントロピー項の導入によるバックプロパゲーション学習則の拡張と学習効率の向上
- エントロピー項の導入によるバックプロパゲーション学習則の拡張と学習効率の向上
- Erwin Schrodinger: What is Life?(20世紀の名著名論)
- バイオインフォマティクスと人工知能の相互作用(バイオインフォマティクスと人工知能の新たなインタラクション)
- 特集「バイオインフォマティクスと人工知能の新たなインタラクション」にあたって(バイオインフォマティクスと人工知能の新たなインタラクション)
- 分散環境におけるシームレス並列コンピューティングシステムの構想
- バイオインフォマティクス : 情報システムとしての生命現象の理解へ
- 並列タンパク質情報解析(PAPIA)システム
- WWWによる研究支援