多層パーセプトロンの学習における中間層に付加したノイズの影響とネットワークの構造化
スポンサーリンク
概要
- 論文の詳細を見る
本論文では, 多層パーセプトロンの中間層の各ユニットに独立なノイズを加えたとき, 学習結果がどんな影響を受けるかについて考察し, ノイズを付加することによりネットワークが構造化されることを示す. 具体的には, 中間層が1層のみで, 出力層の入出力関数が線形のネットワークの中間層の各ユニットに独立なノイズを加えた場合の誤差逆伝搬学習アルゴリズムの平均的な振舞いを解析し, 中間層から出力層への結合荷重はより小さな値をとるようになり, 逆に, 入力層から出力層への結合荷重は中間層の出力が0か1に近づくようになることを示す. これは, 中間層の各ユニットにノイズを付加することにより, ネットワークが自動的に構造化されることを意味している. その結果として間接的に汎化能力の高いネットワークが構成されることが期待でき, 学習におけるノイズの役割として非常に興味深い. 更に, パターン識別問題と論理関数の学習問題に対して, ノイズを加えて学習した場合とノイズを加えないで学習した場合を比較し, ノイズを加えることによりネットワークが構造化されることを実験的に確かめた.
- 一般社団法人電子情報通信学会の論文
- 1996-02-25
著者
-
栗田 多喜夫
電子技術総合研究所
-
麻生 英樹
電子技術総合研究所
-
赤穂 昭太郎
電子技術総合研究所
-
梅山 伸二
産業技術総合研究所
-
梅山 伸二
電子技術総合研究所 ビジュアルコンピューティング・ラボ
-
細美 章隆
石井工業
関連論文
- IT野ニューロン集団の時間相関を取り入れたクラスタリング
- 29pXH-7 側頭葉の顔応答ニューロンの混合正規分布解析(29pXH ニューラルネットワーク(神経系のモデルを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 頑健なヤコビ核主成分分析に向けて(テーマ関連セッション5,コンピュータビジョンとパターン認識のための学習理論)
- 高次相関特徴によるテクスチャ解析の試み
- 視覚情報を対話的に学習するマルチモーダル擬人化エージェント
- 画像の量子化誤差を考慮したしきい値選定法
- コンピュータとの対話におけるユーザの振舞いの解析
- 視覚・聴覚・発話機能を有するエージェント型マルチモーダルインタフェースの試作
- 直線検出のための局所領域の直線性を考慮した重み付きHough変換 : 放送方式
- 直線検出のための局所領域の直線性を考慮した重み付きHough変換
- 複素自己回帰モデルによる輪郭データの圧縮の試み
- 複素自己回帰モデルによる類似形状の検索
- パターン認識と機械学習(音声・言語・音響教育,一般)
- 人の表情を有し音声対話・視覚機能を備えたマルチモーダルインタフェース
- 局所的な動き属性の立体相互相関特徴による行動認識(テーマ関連,顔・人物・ジェスチャ・行動)
- 局所的な動き属性の立体相互相関特徴による行動認識(テーマ関連,顔・人物・ジェスチャ・行動)
- 局所的な事後確率の高次相互相関特徴によるシーン識別(一般セッション,文字・文書の認識・理解)
- 非線形判別分析とその周辺(コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 非線形判別分析とその周辺(コンピュータビジョンとパターン認識のための機械学習と最適化,一般)
- 会議報告 : IJCAI99
- EM法を用いた複数情報源からの概念獲得
- EM法を用いた複数情報源からの概念獲得
- 統計 : パターン認識から社会科学まで(電子情報通信と数学)
- 実行効率を考慮した並列プログラムの移植性確保 : 問題の最適並列度推定
- 国際会議報告:ICPR2000とその周辺
- SD-2-3 自律型注視点探索を利用した中心窩情報の統合
- D-12-103 オプテイカルフローを用いたPCNNによる注視点探索法
- オフィス移動ロボットJijo-2 の音声対話システム
- 事情通ロボットの音声対話インターフェース
- 論争支援マルチモーダル実験システム MrBengo
- 論争支援のマルチモーダル実験システム
- 音声・視覚・画像をもつインタラクションシステム
- PARCOR画像の高次局所自己相関特徴を用いた背景変化および平行移動に強いジェスチャー認識
- PARCOR画像の高次局所自己相関特徴を用いたジェスチャー認識
- 顔の位置に関する事前確率の適応的な推定とIsing探索を用いたニュース映像からの顔検出の高速化
- NMFを用いた和音からの基底音推定
- Dynamic Attention Mapを用いた顔検出の高速化
- 擬モーメント特徴量を用いたアクティブカメラの回転推定
- 学習による不特定環境下の顔の追跡と向きの推定
- 高次局所自己相関特徴とKL展開による3次元物体のビューベース画像認識
- 向きに依存しない顔画像認識のための向きに依存した複数の識別器の統合
- D-12-1 概形入力による画像検索のための多重解像度自己回帰モデル
- 適応的なロバスト推定を用いた背景のモデリング
- RWC自律学習機能 : オフィスロボットJijo-2わ中心として
- ブラインド信号分離におけるPCAフィルタの効果
- サブスペース法と空間逆フィルタを用いた音源分離
- 印象語による絵画データベースの検索
- ニューラルネットワークによる話者認識
- ニューラルネットワークによる話者認識
- Cross Validationを用いた顔検出のための特徴点の選択
- D-12-51 全方位カメラを搭載した自律移動型ロボットのナビゲーションのためのランドマーク自動検出
- Gabor特徴の情報量による重みづけマッチングを用いた顔認識
- Log-Polar画像から抽出したスペクトル特徴を用いた対象の大きさの変化に影響を受けにくい認識法 : 顔検出と顔識別への応用
- D-12-75 Log-Polar画像から抽出したスペクトル特徴を用いた顔の大きさの変化に強い顔認識法
- 大きさの変化に不変な顔と顔以外の対象の識別法
- Log-Polar画像の高次局所自己相関特徴を用いた大きさに不変な顔画像の認識
- Log-Polar画像の高次局所自己相関特徴を用いた大きさ・回転に不変な2次元図形及び顔画像の認識
- Log-Polar画像の高次局所自己相関特徴による大きさ・回転に不変な2次元図形認識
- 画像と色彩感の相関による絵画の検索 : 絵画データベースART MUSEUM
- 恒等写橡学習を用いたオプティカルフローからのカメラ回転情報の抽出
- 視覚障害者の列車乗り込み支援のためのヘッドマウントカメラからの動き推定
- 視覚障害者の列車乗り込み支援のためのヘッドマウントカメラからの動き推定
- 視覚障害者の列車乗り込み支援のためのヘッドマウントカメラからの動き推定
- D-12-176 等角射影による複数の中心窩視覚情報の統合
- 高次局所自己相関特徴を用いた顔画像の識別
- 気の利いたウェラブルビジョンシステムの実現にむけて : 顔検出・識別とハンドマウスの実装
- 気の利いたウェフアラブルビジョンシステムの実現にむけて : 顔検出・識別とハンドマウスの実装
- マイクロホンアレイを用いた音声認識方向辞書の精度が認識率に及ぼす影響
- 魚眼レンズを用いた眼球運動に伴う網膜画像獲得システムの試作
- サポートベクターマシンを用いた企業の信用格付けの予測
- 周波数領域のInfomaxとサブスペース法を併用した音響信号のブラインド分離
- 教師付き独立成分分析を用いた顔の同定について
- ベイジアンネットの学習の知能システムへの応用
- パターン認識器の設計のための最適化(招待講演,文字・文書の認識と理解)
- 超並列システム用OS「超流動OS」におけるアプリケーションソフトウェアの動的最適化
- Extraction of Combined Features from Global/Local Statistics of Visual Words Using Relevant Operations
- D-12-70 擬モーメント特徴量を用いたカメラ回転の推定
- クラスター分析入門 ファジィクラスタリングの理論と応用 宮本定明(著) : "クラスター分析入門 ファジィクラスタリングの理論と応用"森北出版(1999-10) ; A5判, 定価(本体2, 800円+税)
- 空間的構造特徴を用いた類似度学習 : 類似画検索への応用
- 判別分析に基づく類似画検索法
- 主観的類似度に適応した画像検索
- 統計的推論とAIの推論 (AIの手法と周辺の基礎理論)
- 多層パーセプトロンの学習における中間層に付加したノイズの影響とネットワークの構造化
- 独立なノイズの付加による多層パーセプトロンの構造化学習
- 化学物質発ガン性データベースおよび化学構造からの発ガン性予測システムの開発
- 高次自己相関特徴を用いた図形の回転不変特徴量の構成
- 画像データベースのための認知的スキーマの構築
- 2-2 顔画像からの個人識別(2.認識技術の現状)(人体と顔の画像処理)
- 2. 理論基盤の研究 ( リアルワールドコンピューティング研究計画)
- ラベルのない領域情報を用いたSelf-trainingと大腸内視鏡NBI画像診断への応用(テーマセッション,医療における多次元大規模データ解析)
- ラベルのない領域情報を用いたSelf-trainingと大腸内視鏡NBI画像診断への応用(テーマセッション,医療における多次元大規模データ解析)
- ラベルのない領域情報を用いたSelf-trainingと大腸内視鏡NBI画像診断への応用(テーマセッション,医療における多次元大規模データ解析)
- Image representation for generic object recognition using higher-order local autocorrelation features on posterior probability images
- Automatic Analysis of Composite Physical Signals Using Non-Negative Factorization and Information Criterion
- サポートベクター回帰を用いた158カ国の国債格付けの再現
- ランダムネスの効用
- 混合確率的主成分分析モデルに基づく特定物体認識 (情報論的学習理論と機械学習)
- 混合確率的主成分分析モデルに基づく特定物体認識 (パターン認識・メディア理解)
- 人物画像認識による来場者モニタリング
- 階層型ニューラルネットワークとその周辺