リカレントニューラルネットワークにおける学習の並列処理
スポンサーリンク
概要
- 論文の詳細を見る
リカレントニューラルネットワーク(RNN:Recurrent Neural Network)は、従来の階層型ニューラルネット(MNN:Multilayer Neural Network)に時間の遅れを持ったフィードバック結合を組み合わせて動的な性質を持たせたもので、音声認識等の時系列パタン処理に応用されている。しかし、非対称で回帰的な結合のために、学習には非常に多くの計算量が必要なことが指摘されている。本稿では、このRNNの学習を並列処理し、高速化する手法について述べる。
- 社団法人電子情報通信学会の論文
- 1995-03-27
著者
-
笠原 博徳
早稲田大学基幹理工学研究科情報理工学専攻
-
中野 恵一
オリンパス光学工業(株)映像システム部
-
中野 恵一
オリンパス光化学工業株式会社
-
前川 仁孝
千葉工業大学情報工学科
-
前川 仁孝
早稲田大学理工学部
-
笠原 博徳
早稲田大学
-
芦沢 一
早稲田大学理工学部
-
中野 恵一
早稲田大学理工学部
関連論文
- 並列度・タスク実行時間の偏りを考慮した標準タスクグラフセットSTG Ver3を用いたスケジューリングアルゴリズムの評価(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 並列度・タスク実行時間の偏りを考慮した標準タスクグラフセットSTG Ver3を用いたスケジューリングアルゴリズムの評価(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- メディアアプリケーションを用いた並列化コンパイラ協調型ヘテロジニアスマルチコアアーキテクチャのシミュレーション評価(組込みシステムプラットフォーム)
- メディアアプリケーションを用いた並列化コンパイラ協調型ヘテロジニアスマルチコアアーキテクチャのシミュレーション評価(組込みシステムプラットフォーム)
- メディアアプリケーションを用いた並列化コンパイラ協調型ヘテロジニアスマルチコアアーキテクチャのシミュレーション評価(組込みシステムプラットフォーム)
- 瞬時電源遮断機構を用いたマルチコアSoC向け省電力ソフトウェア実行環境 (コンカレント工学)
- マルチコア上でのOSCAR APIを用いた低消費電力化手法(組込みシステムプラットフォーム)
- 54倍速AACエンコードを実現するヘテロジニアスマルチコアアーキテクチャの検討(マルチコア,プロセッサ,VLSI回路,デバイス技術(高速,低電圧,低消費電力))
- 54倍速AACエンコードを実現するヘテロジニアスマルチコアアーキテクチャの検討(マルチコア,プロセッサ, VLSI回路,デバイス技術(高速,低電圧,低消費電力))
- マルチコアプロセッサ上での粗粒度タスク並列処理におけるデータ転送オーバラップ(通信と同期,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- マルチコアプロセッサ上での粗粒度タスク並列処理におけるデータ転送オーバラップ(通信と同期, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- OSCARチップマルチプロセッサ上でのマルチグレイン並列性評価(ARC-4 : 実行スケジューリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- マルチグレイン並列性向上のための選択的インライン展開手法(並列・分散処理技術)
- マルチグレイン並列性向上のためのインライン展開手法
- OSCARチップマルチプロセッサ上でのマルチグレイン並列処理
- 並列処理階層自動決定手法を用いた粗粒度タスク並列処理
- (2)パネル討論 : アーキテクチャ研究の将来(150回研究会記念特別企画)
- 150回研究会記念特別企画(2)パネル討論 : アーキテクチャ研究の将来
- マルチコアプロセッサにおけるコンパイラ制御低消費電力化手法(プロセッサアーキテクチャ)
- シングルチップマルチプロセッサ上での近細粒度並列処理 (並列処理)
- シングルチップマルチプロセッサ上でのマルチグレイン並列処理
- マルチコアのためのコンパイラにおけるローカルメモリ管理手法(組込みシステムプラットフォーム)
- ヘテロジニアスマルチコア上でのコンパイラによる低消費電力制御(ARC-6 : ソフトウェア最適化,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- ヘテロジニアスチップマルチプロセッサにおける粗粒度タスクスタティックスケジューリング手法(並列処理手法, SHINING 2006 「アーキテクチャとコンパイラの協調および一般」)
- ホモジニアスマルチコアにおけるコンパイラ制御低消費電力化手法(ARC-4: 低電力アーキテクチャ2, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- ヘテロジニアスマルチコア上での階層的粗粒度タスクスタティックスケジューリング手法(ARC-6 : ソフトウェア最適化,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- 情報家電用マルチコア・プロセッサ
- マルチコアプロセッサ上でのマルチメディア処理の並列化(マルチプロセッサ)
- 独立に周波数制御可能な4320MIPS、SMP/AMP対応4プロセッサLSIの開発(集積回路とアーキテクチャの協創-プロセッサ,メモリ,システムLSI及び一般-)
- 情報家電用マルチコアSMP実行モードにおけるマルチグレイン並列処理(集積回路とアーキテクチャの協創-プロセッサ,メモリ,システムLSI及び一般-)
- 独立に周波数制御可能な4320MIPS、SMP/AMP対応4プロセッサLSIの開発(マルチコア,集積回路とアーキテクチャの協創-プロセッサ,メモリ,システムLSI及び一般-)
- 情報家電用マルチコアSMP実行モードにおけるマルチグレイン並列処理(マルチコア,集積回路とアーキテクチャの協創-プロセッサ,メモリ,システムLSI及び一般-)
- マルチコア上でのマルチメディアアプリケーションの自動並列化(マルチコア)
- マルチコア上でのマルチメディアアプリケーションの自動並列化
- OSCARコンパイラにおける制約付きCプログラムの自動並列化(並列化コンパイラ)
- 階層グルーピング対応バリア同期機構の評価(マイクロアーキテクチャ,集積回路とアーキテクチャの協創〜どう繋ぐ?どう使う?マルチコア〜)
- 自動並列化のためのElement-Sensitiveポインタ解析
- Fortran マルチグレイン並列処理におけるデータローカライゼーション手法
- Fortran粗粒度並列処理におけるDoall/シーケンシャルループ間データローカライゼーション手法
- 粗粒度並列処理におけるDoall/シーケンシャルループ間データローカライゼーション手法
- Fortran マクロデータフロー処理におけるデータローカライゼーション手法
- マルチグレイン並列処理におけるタスク融合を用いたデータローカライゼーション手法
- マクロデータフロー処理におけるデータローカライゼーション手法
- Fortranマクロデータフロー処理におけるデータローカライゼーション
- H.264/AVCエンコーダのマルチコアプロセッサにおける階層的並列処理
- H.264/AVCエンコーダのマルチコアプロセッサにおける階層的並列処理
- OSCAR API標準解釈系を用いたParallelizable Cプログラムの評価
- 情報家電用ヘテロジニアスマルチコアRP-Xにおけるコンパイラ低消費電力制御性能
- 組込み向けマルチコア上での複数アプリケーション動作時の自動並列化されたアプリケーションの処理性能
- マルチコア上でのOSCAR APIを用いた並列化コンパイラによる低消費電力化手法
- 近細粒度並列処理用シングルチップマルチプロセッサにおけるプロセッサコアの評価
- 2000-ARC-139-16 近細粒度並列処理用シングルチップマルチプロセッサにおけるプロセッサコアの構成
- 情報家電用マルチコア並列化APIを生成する自動並列化コンパイラによる並列化の評価
- 情報家電用ヘテロジニアスマルチコア用自動並列化コンパイラフレームワーク
- 自動並列化技術を用いたメディア処理オフロード
- 自動並列化技術を用いたメディア処理オフロード
- 自動並列化技術を用いたメディア処理オフロード
- 自動並列化技術を用いたメディア処理オフロード
- 並列化コンパイラによるソフトウェアコヒーレンシ制御
- 並列化コンパイラによるソフトウェアコヒーレンシ制御
- プログラム構造に着目したメニーコアアーキテクチャシミュレータの高速化手法
- マルチコアのためのコンパイラにおけるローカルメモリ管理手法(組込みシステムプラットフォーム)
- マルチコア上でのOSCAR APIを用いた低消費電力化手法(組込みシステムプラットフォーム)
- マルチコアのためのコンパイラにおけるローカルメモリ管理手法(組込みシステムプラットフォーム)
- マルチコア上でのOSCAR APIを用いた低消費電力化手法(組込みシステムプラットフォーム)
- スタティックスケジューリングを用いた電子回路シミュレーションの粗粒度/近細粒度階層型並列処理手法
- 電力系統過渡安定度計算の階層的並列処理手法
- 電子回路シミュレーションの階層的並列処理手法
- 電子回路シミュレーションの階層的並列処理手法
- 電子回路シミュレーションの粗粒度/近細粒度階層的並列手法
- マルチグレイン並列処理用マルチプロセッサシステム
- SMPサーバ及び組込み用マルチコア上でのOSCARマルチグレイン自動並列化コンパイラの性能(並列化コンパイラ)
- 瞬時電源遮断機構を用いたマルチコアSoC向け省電力ソフトウェア実行環境(組込みシステム,一般)
- 情報家電用ヘテロジニアスマルチコアRP-Xにおけるコンパイラ低消費電力制御性能
- OSCAR API標準解釈系を用いた Parallelizable C プログラムの評価
- ヘテロジニアスマルチコアプロセッサ上でのスタティックスケジューリングを用いたMP3エンコーダの並列化
- 自動並列化技術を用いたメディア処理オフロード
- 自動並列化技術を用いたメディア処理オフロード
- 情報家電用ヘテロジニアスマルチコア用自動並列化コンパイラフレームワーク
- マルチコアにおけるParallelizable Cプログラムの自動並列化
- マルチコアプロセッサ上での粗粒度タスク並列処理のためのコンパイラによるローカルメモリ管理手法
- 共有メモリ型マルチプロセッササーバー上におけるOSCARマルチグレイン自動並列化コンパイラの性能評価
- 配列間パディングを用いた粗粒度タスク並列処理のためのキャッシュ最適化(並列・分散処理技術)
- スタティックスケジューリングを用いたデータローカライゼーションにおける配列間パディング(コンパイラとスレッド技術)
- マルチグレイン並列処理のための階層的並列性制御手法
- ラインコンフリクトミスを考慮した粗粒度タスク間キャッシュ最適化
- SMPシステム上でのOSCARマルチグレイン並列化コンパイラの性能
- SMPマシン上での粗粒度タスク並列処理オーバーヘッドの解析
- 共有メモリマルチプロセッサ上でのキャッシュ最適化を考慮した粗粒度タスク並列処理(並列処理)
- 粗粒度並列性抽出のための解析時インライニングとフレキシブルクローニング
- 粗粒度並列性抽出のための解析時インライニングとフレキシブルクローニング
- 商用SMP上での粗粒度タスク並列処理
- キャッシュ最適化を考慮したマルチプロセッサシステム上での粗粒度タスクスタティックスケジューリング手法
- 共有メモリマルチプロセッサシステム上での粗粒度タスク並列処理
- 共有メモリマルチプロセッサシステム上での粗粒度タスク並列実現手法の評価
- 階層型マクロデータフロー処理のためのダイナミック/スタティック併用スケジューリング手法
- 階層型マクロデータフロー処理のためのマクロタスクスケジューリング手法
- マルチプロセッサシステム上における非線形方程式求解の並列処理 : 電力潮流計算を例として
- 並列分散科学技術計算環境STA(4) : 異機種並列計算機の統合利用環境の構築
- 並列分散科学技術計算環境STA(3) : 異機種並列計算機間通信ライブラリの構築