配列の縮約表現による大規模ワークフローの効率的実装手法
スポンサーリンク
概要
- 論文の詳細を見る
我々は大規模ワークフロー記述用の並列スクリプト言語 MegaScript を開発している.MegaScript はオブジェクト指向言語であり,個々のタスクや通信路であるストリームなどをオブジェクトで表す.このため柔軟な記述が可能である一方,タスク数に応じたオブジェクトが生成されるため,実行可能なワークフローの規模がマスタノードのメモリ量で制約される,スケジューリングやタスク転送のオーバヘッドが大きくなる,といった問題がある.そこで本発表では,配列の縮約表現を用いて等価なワークフローを表すことで,生成されるオブジェクト数を大幅に削減する手法を提案する.本手法はタスク配列など API クラスのメソッド内に実装され,配列の要素アクセスをトリガとして内部の縮約・非縮約表現を動的に切り替える.このためユーザに内部の実装を隠蔽でき,言語インタプリタ本体の変更が必要ない.さらに,サブワークフロー記述用のクラスを導入することにより,階層型の並列性を持つワークフローも効率良く縮約できる.ランダムなワークフローを用いた性能評価の結果,完全に縮約可能な場合はタスク数に依存せず生成される API オブジェクト数を 300 程度,必要メモリ量を 100KB 程度に削減することができた.
- 2011-06-29
著者
-
近藤 利夫
三重大学
-
松本 真樹
三重大学大学院工学研究科
-
佐々木 敬泰
三重大学大学院工学研究科
-
大野 和彦
三重大学大学院工学研究科
-
近藤 利夫
三重大学大学院工学研究科
-
中島 浩
京都大学学術情報メディアセンター
-
佐々木 敬泰
三重大学
-
大野 和彦
三重大学 工学研究科
-
松本 真樹
三重大学
-
三田 明宏
三重大学
関連論文
- 非均質環境における適応型スケジューリング手法の提案と評価(並列分散処理,情報爆発論文)
- 可変パイプライン段数プロセッサの段数切替えスケジューラの設計と評価(ARC-3:アーキテクチャ2,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- HDTV対応MPEG-2エンコーダLSIの制御構成
- MPEG-2ビデオ符号化LSIにおけるSIMD型マクロブロックプロセッサの改良(集積エレクトロニクス)
- タスク並列スクリプト言語のビジュアル開発環境の構築(HPC-6 : 開発・実行環境)
- HDTVへの拡張が可能なMPEG2映像符号化LSI
- 非均質環境における適応型スケジューリング手法の提案と評価
- リフレッシュピクチャの冗長符号化による低遅延動画像符号化のH.264への適用性(画像符号化,通信・ストリーム技術,及び一般)
- リアルタイムMPEG2 SP@MLエンコーダチップセットの開発
- リフレッシュピクチャの冗長符号化による低遅延動画像符号化のH.264への適用性(画像符号化,通信・ストリーム技術,及び一般)
- リフレッシュピクチャの冗長符号化による低遅延動画像符号化のH.264への適用性(画像符号化,通信・ストリーム技術,及び一般)
- 可変パイプラインを用いた低消費エネルギープロセッサの設計と評価(プロセッサ・アーキテクチャ)
- タスク並列スクリプト言語処理系におけるユーザレベル機能拡張機構(分散コンピューティング)
- 高性能セミスタティックTSPC DFFの検討
- 高性能DFFの検討
- 高性能DFFの検討
- スタンダードセル用高性能DFF
- 画像処理LSI用性能指向マクロセル設計法
- A-36 設計工程間における一致検証の一手法(A-2. 非線形問題,一般講演)
- 並列デバッガにおける情報視覚化手法
- リアルタイムMPEG2エンコーダLSI用オンチップRISC
- 非均質環境における選択型スケジューリング手法
- 可変レベルキャッシュ用モード切換手法のマルチコア環境への適用と評価
- 大規模ワークフローを対象とする動的スケジューリング手法における静的情報の利用
- MPEG-2ビデオ符号化LSIにおけるSIMD型マクロブロック・プロセッサの改良
- MPEG-2ビデオ符号化LSIにおけるSIMD型マクロブロック・プロセッサの改良
- MPEG-2ビデオ符号化LSIにおけるSIMD型マクロブロック・プロセッサの改良
- HDTV対応MPEG-2エンコーダLSIの制御構成
- C-12-42 MPEG-2 ビデオエンコーダ LSI : 適応探索に適したメモリアーキテクチャ
- C-12-41 MPEG-2 ビデオエンコーダLSI : シーン適応制御可能なME/MCアーキテクチャ
- C-12-40 MPEG-2 ビデオエンコーダLSI : マルチチップ対応インタフェース
- C-12-39 MPEG-2ビデオエンコーダLSI : 階層協調アーキテクチャ
- SDRAM向き横縞ライン多重画像格納形式の提案
- 動き補償における探索領域の移動制御に関する一考察
- MPEG-2 ビデオエンコーダにおけるPES化処理構成の検討
- HDTV 動画像符号化システム構成法
- 単フィールド動きベクトル探索法
- MPEG2エンコーダLSIの現状と課題
- MPEG2エンコーダLSIの現状と課題
- MPEG2エンコーダLSIの現状と課題
- IP開発ツール設計に於けるシステム設計から機器開発での問題点と対策
- 可変段数パイプラインプロセッサのチップ試作と評価
- 可変パイプライン段数プロセッサのためのメモリアクセスに着目した細粒度なモード切換えコントローラ(高性能コンピュータシステム,デザインガイア2009-VLSI設計の新しい大地-)
- 高性能かつ低消費電力を実現する可変レベルキャッシュのモード切換アルゴリズムの改良と評価(高性能コンピュータシステム,デザインガイア2009-VLSI設計の新しい大地-)
- VSPプロセッサ用パイプラインレジスタ(LDS-cell)の低電力化手法の提案と評価
- モデル図とコードを併用する大規模並列プログラミングの支援環境
- ヘテロ型大規模並列環境の階層型タスクスケジューリングの提案と評価
- 拡張テンプレート複数併用法と探索区域予測を組み合わせるH.264対応の高効率動き検出法(画像符号化,通信・ストリーム技術,一般)
- 拡張テンプレート複数併用法と探索区域予測を組み合わせるH.264対応の高効率動き検出法(画像符号化,通信・ストリーム技術,及び一般)
- 拡張テンプレート複数併用法と探索区域予測を組み合わせるH.264対応の高効率動き検出法(画像符号化,通信・ストリーム技術,及び一般)
- 拡張テンプレート複数併用法と探索区域予測を組み合わせるH.264対応の高効率動き検出法(画像符号化,通信・ストリーム技術,及び一般)
- 可変段数パイプラインアーキテクチャ(VSP)の更なる低消費電力化手法の提案とLSI設計(コンピュータシステム技術,先端的コンピュータシステム技術及び一般)
- 高性能と低消費電力を両立する可変パイプライン構造の再構成デバイスへの適用(ARC-3:アーキテクチャ2,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 4K-1 配列の縮退表現による大規模並列タスクネットワークの実装効率化(情報爆発時代における分散処理とセキュリティ,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 大規模ワークフローを対象とする動的スケジューリング手法における静的情報の利用
- 可変レベルキャッシュ用モード切換手法のマルチコア環境への適用と評価
- 半画素精度探索のためのSIMD型動き検出器
- 画素間引き型動きベクトル検出法の一提案
- MPEG2映像圧縮チップセット (特集論文 マルチメディア通信を支えるMPEG2画像圧縮LSI設計技術)
- MPEG2対応動き検出/補償LSIのアーキテクチャ設計
- MPEG2対応動き検出/補償LSIのアーキテクチャ設計
- MPEG2対応動き補償LSI
- 1次元シストリックアレー型全探索動きベクトル検出器の提案
- 不均質環境におけるタスクネットワークの静的スケジューリング手法(HPC-3 : スケジューリング)
- タスクネットワークの解析情報を用いたスケジューリング手法
- コンカレント・コラボレーション手法によるMPEG2映像圧縮LSI設計・製造の短TAT化 (コンカレント・コラボレーション技術論文小特集)
- VSPプロセッサ用パイプラインレジスタ (LDS-cell) の低電力化手法の提案と評価
- 6K-5 広域分散環境における大規模タスク群の挙動を求める高速シミュレータ(情報爆発時代における並列分散処理技術,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- プログラマブル動き検出/補償LSI
- タスク並列スクリプト言語処理系における広域分散実行方式
- 効率の良い広域分散対応のタスク並列スクリプト言語の実現(HPC-9: 並列プログラミング)
- 拡張テンプレートを複数併用するHDTV用4画素精度動きベクトル検出器の構成(プロセッサ, DSP, 画像処理技術及び一般)
- 拡張テンプレートを複数併用するHDTV用4画素精度動きベクトル検出器の構成(プロセッサ, DSP, 画像処理技術及び一般)
- 拡張テンプレートを複数併用するHDTV用4画素精度動きベクトル検出器の構成(プロセッサ, DSP, 画像処理技術及び一般)
- 拡張テンプレートを複数併用するHDTV用4画素精度動きベクトル検出器の構成(プロセッサ, DSP, 画像処理技術及び一般)
- D-11-23 拡張テンプレートを複数併用するHDTV用4画素精度動き検出器の構成(D-11. 画像工学A(画像基礎・符号化), 情報・システム2)
- D-11-22 照合用拡張テンプレートを複数併用する階層型動き検出(D-11. 画像工学A(画像基礎・符号化), 情報・システム2)
- Spilt-output Latchを用いたSemi-static TSPC DFFの提案と評価 (VLSI設計技術)
- 拡張テンプレート動き検出用4画素精度ビット切り詰め型探索ユニットの設計(ディジタル・情報家電,放送用,ゲーム機用システムLSI,回路技術(一般,超高速・低電力・高機能を目指した新アーキテクチャ))
- 可変レベルキャッシュの書き戻しペナルティ軽減手法の提案(キャッシュ及びプリフェッチ)
- キャッシュ階層動的切り替えによる低消費電力化(ARC-7 : 低消費電力アーキテクチャ,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- VSP(Variable Stages Pipeline)の低消費電力、高性能化(ARC-7 : 低消費電力アーキテクチャ,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- D-11-34 階層探索用の4画素精度ビット切り詰め型ブロックマッチング法(D-11.画像工学A(画像基礎・符号化),一般講演)
- D-11-13 リフレッシュスライスの送出後回しによる低遅延動画像符号化(その2)(D-11.画像工学A(画像基礎・符号化),一般講演)
- 中粒度並列処理用ハードウェア同期処理機構の提案(通信アーキテクチャ)
- ハードウェアスケジューラによるLinux上での近細粒度並列処理の高速化(セキュアシステムとスケジューラ)
- D-11-40 リフレッシュスライスの送出後回しによる低遅延動画像符号化(D-11.画像工学A(画像基礎・符号化),一般講演)
- 適応的に階層実行するら旋状動き探索(画像・映像処理)
- J-079 段階的探索開始位置決定による螺旋状動き探索の高効率化(J.グラフィクス・画像)
- J-026 テレビ映像に入るパルスノイズの実時間除去方式(J.グラフィクス・画像)
- タスク並列スクリプト言語処理系におけるユーザレベルの機能拡張を可能とする機構(HPC-9: 並列プログラミング)
- 適応型手法の改良による大規模な実ワークフローの高速スケジューリング
- MegaScriptにおける大規模ワークフローの縮約機構の設計
- タスク並列スクリプト言語におけるストリーム通信の改良(HPC-1 : 並列プログラミング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 配列の縮約表現による大規模ワークフローの効率的実装手法
- 静的情報を用いた動的再スケジューリングのオーバヘッド削減手法
- メタ情報に基づくタスク並列スクリプト言語のスケジューラ(HPC-10 : ネットワークとスケジューリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- タスクネットワークの形状に基づく並列スクリプト言語のスケジューラ(一般講演1)
- J-078 適応的なフィルタリングを用いた画像の性質にロバストな動き探索(J.グラフィクス・画像)
- GPGPUのシェアードメモリを利用する自動最適化機構